跳到主要内容

模型缓存

在 **Model cache(模型缓存)**中下载模型权重,供后续部署复用。 存储卷列表为空时,先创建模型缓存卷。

从 Hugging Face 下载模型​

  1. 在模型缓存页面上,点击下载模型。
  2. 在下载模型中,选择一个集群和存储卷。
  3. 将模型来源保留为 Hugging Face。
  4. 可以手动输入 HuggingFace 仓库 ID 和版本(Revision),也可以点击 浏览 Hugging Face Hub。
  5. 如果打开了浏览 HuggingFace Hub,使用搜索模型…,从左侧列表中选择 一个结果,然后点击使用此模型。
  6. 下载私有或需要授权的模型前,请集群管理员在集群设置中保存有权访问该模型的 Hugging Face 令牌。
  7. 点击开始下载。

模型卡片会显示下载进度,等待缓存就绪后再部署。 下载使用集群保存的令牌;公开模型可以不提供令牌。

下载存储卷上已有的模型​

如果所选存储卷上已经有该模型的同一版本,Lens 不会直接开始下载。对话框会说明该模型 当前的状态——已下载、排队中、正在下载还是下载失败——并等待你确认:

  • 仍然下载会重新下载。已完成或失败的缓存会就地从来源刷新;仍在进行的下载则继续 进行。无论哪种情况,该存储卷上始终只保留该模型的一条记录,不会产生重复项。
  • 取消则保留存储卷上现有的内容。

从模型市场下载模型​

  1. 点击下载模型。
  2. 在下载模型中,将模型来源设置为模型市场。
  3. 点击浏览模型市场。
  4. 在浏览模型市场中,使用**按模型名称、系列或仓库搜索…**以及 模型分类下的分类标签来查找模型,然后点击对应的模型卡片。
  5. 回到下载模型后,查看所选模型的详情。如需更换,点击更换模型选择 另一个模型。
  6. 选择集群和存储卷。只有标记为 Model cache 用途的就绪存储卷可选。
  7. 对于私有模型,下载会使用集群保存的 HuggingFace 令牌(在集群向导中 设置)。
  8. 点击开始下载。

过滤已缓存的模型​

  1. 使用目标集群将页面限定到单个集群,或保留为所有集群。
  2. 在模型缓存存储中,点击某个存储卡片,将列表过滤到该存储卷。
  3. 使用按模型搜索缩小已缓存模型列表的范围。
  4. 使用全部等类型标签,以及页面显示的任何模型类型标签。
  5. 使用每页行数和分页控件浏览更长的结果集。

查看下载日志​

  1. 在某个模型卡片上,点击提示为查看日志的操作。
  2. 在下载日志中,如果列出了多个节点,从下拉列表中选择一个节点。
  3. 如果想立即刷新,点击标题为刷新日志的按钮。弹窗在打开期间也会自动 刷新。
  4. 阅读日志输出以及上方显示的各节点状态标签。

重试失败的下载​

  1. 找到显示为失败状态的模型卡片。
  2. 点击提示为重试下载的操作。
  3. 留意页面上出现的已开始重试提示,并通过进度或查看日志继续监控 该卡片。

如果创建 Job 时出现 webhook x509 错误,重试前先检查 webhook 证书/CA; 配置了代理时,也应检查控制面代理排除项。

将已缓存的模型同步到新节点​

  1. 如果页面显示页头操作同步新节点 (...),点击它以开始将每个仍需复制到 新节点的已缓存模型进行同步。留意提示已开始为 N 个模型同步(表示已 排队的模型数量),如果没有需要同步的模型,则会显示无需同步——所有模型 均已是最新。
  2. 如果只想同步一个模型,找到提示新节点需要该模型的卡片,点击提示为 同步新节点的操作。留意已开始同步新节点的提示。

删除已缓存的模型​

  1. 在要移除的模型卡片上,点击提示为删除已缓存模型的操作。
  2. 在删除已缓存模型中,查看关于即将删除的确切缓存路径的警告信息。
  3. 点击删除已缓存模型开始移除操作。文件删除期间,弹窗保持打开并显示 Deleting(删除中)。
  4. 确认删除完成后,列表和状态数量刷新,弹窗关闭。如果删除或状态检查失败,弹窗会显示错误,方便重试。

相关页面​

如果你没有看到可用的缓存卷,请先在存储页面注册一个。

在部署中使用已下载的模型​

  1. 在模型市场中打开该模型。
  2. 选择下载时使用的集群和模型缓存存储。
  3. 确认模型在所选缓存中就绪后,创建部署。

使用缓存部署前,请完整下载所需的模型版本。模型服务器会离线加载, 不会在启动时补下载缺失文件。Hugging Face 凭据和代理请在集群设置中修改, 不要填入部署的自定义环境变量。