模型缓存
在 **Model cache(模型缓存)**中下载模型权重,供后续部署复用。 存储卷列表为空时,先创建模型缓存卷。
从 Hugging Face 下载模型
- 在模型缓存页面上,点击下载模型。
- 在下载模型中,选择一个集群和存储卷。
- 将模型来源保留为 Hugging Face。
- 可以手动输入 HuggingFace 仓库 ID 和版本(Revision),也可以点击 浏览 Hugging Face Hub。
- 如果打开了浏览 HuggingFace Hub,使用搜索模型…,从左侧列表中选择 一个结果,然后点击使用此模型。
- 下载私有或需要授权的模型前,请集群管理员在集群设置中保存有权访问该模型的 Hugging Face 令牌。
- 点击开始下载。
模型卡片会显示下载进度,等待缓存就绪后再部署。 下载使用集群保存的令牌;公开模型可以不提供令牌。
下载存储卷上已有的模型
如果所选存储卷上已经有该模型的同一版本,Lens 不会直接开始下载。对话框会说明该模型 当前的状态——已下载、排队中、正在下载还是下载失败——并等待你确认:
- 仍然下载会重新下载。已完成或失败的缓存会就地从来源刷新;仍在进行的下载则继续 进行。无论哪种情况,该存储卷上始终只保留该模型的一条记录,不会产生重复项。
- 取消则保留存储卷上现有的内容。
从模型市场下载模型
- 点击下载模型。
- 在下载模型中,将模型来源设置为模型市场。
- 点击浏览模型市场。
- 在浏览模型市场中,使用**按模型名称、系列或仓库搜索…**以及 模型分类下的分类标签来查找模型,然后点击对应的模型卡片。
- 回到下载模型后,查看所选模型的详情。如需更换,点击更换模型选择 另一个模型。
- 选择集群和存储卷。只有标记为 Model cache 用途的就绪存储卷可选。
- 对于私有模型,下载会使用集群保存的 HuggingFace 令牌(在集群向导中 设置)。
- 点击开始下载。
过滤已缓存的模型
- 使用目标集群将页面限定到单个集群,或保留为所有集群。
- 在模型缓存存储中,点击某个存储卡片,将列表过滤到该存储卷。
- 使用按模型搜索缩小已缓存模型列表的范围。
- 使用全部等类型标签,以及页面显示的任何模型类型标签。
- 使用每页行数和分页控件浏览更长的结果集。
查看下载日志
- 在某个模型卡片上,点击提示为查看日志的操作。
- 在下载日志中,如果列出了多个节点,从下拉列表中选择一个节点。
- 如果想立即刷新,点击标题为刷新日志的按钮。弹窗在打开期间也会自动 刷新。
- 阅读日志输出以及上方显示的各节点状态标签。
重试失败的下载
- 找到显示为失败状态的模型卡片。
- 点击提示为重试下载的操作。
- 留意页面上出现的已开始重试提示,并通过进度或查看日志继续监控 该卡片。
如果创建 Job 时出现 webhook x509 错误,重试前先检查 webhook 证书/CA;
配置了代理时,也应检查控制面代理排除项。
将已缓存的模型同步到新节点
- 如果页面显示页头操作同步新节点 (...),点击它以开始将每个仍需复制到 新节点的已缓存模型进行同步。留意提示已开始为 N 个模型同步(表示已 排队的模型数量),如果没有需要同步的模型,则会显示无需同步——所有模型 均已是最新。
- 如果只想同步一个模型,找到提示新节点需要该模型的卡片,点击提示为 同步新节点的操作。留意已开始同步新节点的提示。
删除已缓存的模型
- 在要移除的模型卡片上,点击提示为删除已缓存模型的操作。
- 在删除已缓存模型中,查看关于即将删除的确切缓存路径的警告信息。
- 点击删除已缓存模型开始移除操作。文件删除期间,弹窗保持打开并显示 Deleting(删除中)。
- 确认删除完成后,列表和状态数量刷新,弹窗关闭。如果删除或状态检查失败,弹窗会显示错误,方便重试。
相关页面
如果你没有看到可用的缓存卷,请先在存储页面注册一个。
在部署中使用已下载的模型
- 在模型市场中打开该模型。
- 选择下载时使用的集群和模型缓存存储。
- 确认模型在所选缓存中就绪后,创建部署。
使用缓存部署前,请完整下载所需的模型版本。模型服务器会离线加载, 不会在启动时补下载缺失文件。Hugging Face 凭据和代理请在集群设置中修改, 不要填入部署的自定义环境变量。