模型市场
打开 Model Market（模型市场），选择模型并部署到集群。 首次使用建议选择 **Manual（手动）**模式。
使用分类上方的 Search models（搜索模型），按模型名称、发布者、仓库、模型类型、分类或精度筛选。 搜索不区分大小写，并与所选分类共同生效；输入多个词时，每个词都必须匹配。 模型数量会随输入更新。点击 **Clear filters（清空筛选）**可同时重置搜索和分类。
选择部署模式
| 模式 | 适用目标 |
|---|---|
| Manual（手动） | 选择 llm-d Guide 模板、配置资源或检查生成的 YAML |
| Agentic（智能体，实验性） | 让 Lens 根据负载和性能目标推荐配置 |
创建手动部署
- 打开 Model Market，用 **Model categories（模型分类）**筛选，点击模型卡片。
- 在 **One-click deployment（一键部署）**中填写 Deployment name（部署名称），选择就绪的 Cluster（集群）。
- 选择包含该模型的 Model cache storage（模型缓存存储），等待显示 This model is ready in the selected cache.（模型已在所选缓存中就绪）。Manual 模式下模型缓存存储是可选的。
- **Mode（模式）**保持 Manual，点击 Configure deployment（配置部署）。检查预填的模型和部署设置；需要修改时点击 Edit setup（编辑设置）。
- 检查 Runtime image（运行镜像）、**Replicas（副本数）**和 TP（每副本使用的加速器数量）。
- 在 **Guide template（方案模板）**中选择 Guide 和 Accelerator（加速器）。不确定如何选择时，参阅选择评测方案。
- 使用 P/D 或分层缓存方案时，从列表中选择变体。首次运行先保留提供的默认配置。
- 点击 Generate YAML（生成 YAML）。如果当前可用卡不足但物理卡总量足够，查看 Pending 提示后点击 Continue & generate（继续并生成）；如果物理卡总量也不足，请减少副本数 / TP。
- 检查 Generated deployable configuration（生成的部署配置），修正标出的错误后点击 Deploy（部署）。
- 在 **Deployments（部署）**页等待 Ready（就绪）。部署会保留，不会运行基准测试；不再使用时请手动停止或清理。
点击 **Back to model card（返回模型卡片）**可返回所选模型。 如需测量性能，参阅运行评估。
没有集群或缓存时，先添加集群、创建缓存存储， 再下载模型。所选缓存中没有该模型时，先下载到该卷，再回来部署。
选中模型后，点击 Manage model cache（管理模型缓存），可直接在 **Model cache（模型缓存）**中打开 Download a model（下载模型）。 所选集群、Hugging Face 仓库 ID 和存储卷会自动填入，也可以修改。关闭弹窗后，点击 Back to model（返回模型）， 即可回到先前选中的模型，并保留部署设置。使用浏览器的返回按钮也会保留模型选择。返回时，存储选项和模型下载状态会刷新。
只有在准备了与所选硬件兼容的镜像时，才修改运行镜像。 更换集群或 Guide 源码后，重新检查变体选择。生成时出现资源或网络错误，先解决提示的问题再部署。
获取 AI 辅助推荐
- 打开模型，填写部署名称，选择集群和缓存存储。
- 将 Mode 改为 Agentic。
- 选择 **Use case（使用场景）**和 GPU capacity for planning（规划可用 GPU），检查负载及性能目标。
- AI provider 可保持 Default (no external AI provider)（不使用外部 AI），也可选择已配置的提供方辅助排序。
- 可选：展开 Preference（偏好），用英文填写，例如
use fewer GPU resources（少用 GPU）或prefer prefix cache（优先前缀缓存）。 - 点击 Generate recommendation（生成推荐）。
- 在 **Validated alternatives（已验证的备选方案）**中展开 Why this option（选择理由），比较资源用量和性能估算。
- 点击所选方案的 Deploy recommendation（部署推荐方案），到部署页查看启动状态。
可选：生成推荐前展开 Pod placement（Pod 放置），选择部署运行的位置。
要调整推荐，在备选方案下方输入新的偏好，点击 Recalculate selection（重新计算）。 不配置外部 AI 提供方也可以使用此操作。
**AI score（AI 评分）**只用于方案排序，不是性能实测结果，也不是成功概率。 显示 **SLO not met（未满足性能目标）**时，应调整目标或资源。 部署后通过评估测量真实表现。
调整可选设置
| 目标 | 操作位置 |
|---|---|
| 修改上下文长度或批处理参数 | Manual 配置编辑器中的 Advanced settings（高级设置） |
| 启用工具调用 | 开启 Enable automatic tool choice，再选择 Tool call parser |
| 使用单独的代理 | Deployment environment（部署环境） |
| 修改副本或加速器数量 | Replicas 和 Tensor parallelism / TP |
启动时提示 KV 缓存容量不足，可在新配置中降低最大上下文长度或增加资源。
出现 **Your role cannot create deployments.（当前角色无法创建部署）**时，请管理员授予目标集群的部署权限。 仍可点击 Open Deployments 查看有权访问的部署。