跳到主要内容

集群

创建存储和部署模型前，先添加集群。 已有集群使用 kubeconfig 连接；没有集群时，可通过 Kubespray 在准备好的机器上创建。

开始前：代理排除配置​

如果 Kubernetes 组件使用 HTTP(S) 代理，集群内部流量必须绕过代理。 将 NO_PROXY 和 no_proxy 设为相同值，保留已有排除项，并包含本机回环地址、 节点主机名/IP、API Server 地址、Service/Pod CIDR 和集群 DNS 后缀。 示例（替换占位符；使用自定义集群域名时，相应替换 cluster.local）：

localhost,127.0.0.1,::1,<node-hostnames-and-IPs>,<api-server-host>,<service-CIDR>,<pod-CIDR>,.svc,.svc.cluster.local,cluster.local

确认配置在运行中的 kube-apiserver 进程上生效，仅修改 shell 或 Lens 设置不够。 kubeadm 集群在 /etc/kubernetes/manifests/kube-apiserver.yaml 中配置环境变量； kubelet 会重建静态 Pod，期间 API 访问会短暂中断。清单备份应放在该目录之外。 仅配置 CIDR 不能排除以 Service DNS 名发起的请求；缺少域名排除项可能让 webhook 请求经过代理，导致 TLS 错误或超时。

从 kubeconfig 注册集群​

  1. 打开 Clusters（集群），点击 Add（新增）。
  2. 填写 Cluster name（集群名称），保持 I already have a kubeconfig（已有 kubeconfig），点击 **Browse（浏览）**选择文件。
  3. 点击 Next（下一步）。连接或版本检查失败时，先解决页面提示的问题。
  4. 在 **Network Proxy（网络代理）**中保留自动检测；需要指定代理时，选择 Custom proxy for this cluster 并填写代理信息。
  5. 在 **Model gateway（模型网关）**中保留 Istio，按下表检查地址。
  6. 在 **Accelerator（加速器）**中选择集群实际安装的加速器类型及驱动访问模式。
  7. 在 **llm-d stack（llm-d 技术栈）**中检查版本，点击 Next，等待源码下载和镜像准备完成。
  8. 在 **Model Cache（模型缓存）**中保留建议的 Secret 命名空间和名称，将 Hugging Face 设置中的令牌填入 HuggingFace token。需要同时准备缓存时，勾选 Create a storage volume for model-cache on this cluster，填写路径和容量。
  9. 点击 Review（检查），核对摘要后点击 Finish（完成）。
  10. 等待各项操作完成，点击 Done（结束）。在列表中选择该集群，检查 **Workers（工作节点）**和 Deployable GPU（可部署 GPU）。
模型网关字段如何填写
Gateway exposed port (NodePort)客户端调用模型时使用的端口
Gateway host/IP客户端可访问的主机名或 IP；留空由 Lens 推导
Lens address集群能访问的 Lens 主机名或 IP；自动填入的地址可达时保持不变
Node inotify limit没有管理员指定值时，保留初始值

向导会在集群节点上安装软件并准备镜像。请只对有权管理的集群执行。 准备步骤失败时，先解决对应错误，再完成向导。

通过 Kubespray 创建新集群​

  1. 打开 Clusters → Add，填写集群名称。
  2. 选择 Bootstrap a new cluster via Kubespray（通过 Kubespray 创建新集群）。
  3. 为每台机器填写 Host(s)、Port、Role(s)、Username，并提供 SSH 私钥或密码。点击 Add node 添加更多机器。
  4. Network proxy for target nodes 保持 Auto 可沿用各机器的代理；需要指定时选择 Custom for these nodes。
  5. 点击 Run preflight（运行预检），修正失败项并重新检查，直到全部主机通过。
  6. 点击 Start bootstrap（开始创建），查看执行进度。
  7. 生成的 kubeconfig 出现后，按上面的注册步骤继续，直到 Finish 和 Done。

此操作会修改目标机器。开始前请确认主机地址和节点角色。

修改集群设置​

  1. 选择集群，点击 Edit cluster（编辑集群）。
  2. 修改名称、描述、代理、HF_TOKEN secret 或模型网关设置。
  3. 点击 Save changes（保存更改），确认新值已显示。

组件版本由 Lens 发布版本提供，不能在此处修改。

轮换 HF_TOKEN secret​

HF_TOKEN secret 保存该集群拉取受限模型所用的 Hugging Face 令牌。 Lens 只记录该 Secret 的命名空间和名称；令牌值保存在集群上，不会再次显示。

  1. **New token（新令牌）**留空表示保留当前令牌。只有需要替换时才填写。
  2. 只有在需要让集群指向另一个 Secret 时，才修改 **Namespace（命名空间）**或 Secret name（Secret 名称）；该 Secret 不存在时 Lens 会创建它。
  3. 点击 Save changes（保存更改），确认提示中显示的是写入的 Secret。

部署和模型缓存下载在运行时会把令牌复制到各自的命名空间， 因此已在运行的工作负载在重建之前仍使用旧令牌。

检查模型网关访问​

  1. 在 Clusters → Edit cluster 中检查 Gateway host/IP 和 Gateway exposed port，确认它们是客户端可访问的地址。
  2. 打开 Model services（模型服务），找到该集群的 Gateway 节点。
  3. 打开节点菜单：未安装时选择 Install（安装）；需要应用已保存设置时选择 Reconcile（协调）。
  4. 查看操作日志，然后发布模型服务并发送请求。

安装或请求失败时，参阅故障排查。 创建和编辑向导当前提供 Istio；其他提供方的手动修复操作不属于正常注册步骤。

查看集群健康状态​

页面可见时，集群列表每五秒静默刷新；当前集群的健康数据每五秒更新， 其他集群的健康数据每十秒更新，无需手动刷新。列表刷新保留当前选择和搜索条件； 更新失败时保留已有条目并显示错误信息。

  1. 在 Clusters 中选择集群。
  2. 检查 Workers、CPU、Memory、Deployable GPU、VRAM、Disk 和 Monitoring。 Memory 和 Disk 主数值显示的是集群总容量中仍然空闲的部分，已使用的百分比 显示在下方的 Usage 一行。显示为短横线表示该集群当前无法上报该读数，而不是 剩余为零。

Clusters 页面仅展示基础设施健康状态和工作节点，不再显示部署列表，也不将单个部署失败计入集群健康状态。 点击 Target cluster 面板中 Deploy a model 下方的 Deployments 按钮， 即可打开独立的 Deployments 页面， 并自动将当前集群填入过滤器。过滤器仍可更改或清除；入口 URL 会保留该集群，刷新后仍可恢复。 在该页面管理部署、端点和日志。 部署监控和性能分析仍可通过可观测性页面使用。

点击 Deployments 下方的 Model services 按钮，可打开 模型服务页面，并在服务拓扑过滤器中自动选中当前集群。 该过滤器同样可以更改或清除；刷新页面或使用浏览器前进、后退时，入口 URL 会恢复集群条件。

设置节点维护模式​

  1. 在集群的 Workers 列表中选中节点。
  2. 点击 Enter maintenance mode（进入维护模式），核对节点名称，再点击 Cordon nodes。
  3. 维护结束后选中节点，点击 Exit maintenance mode（退出维护模式），再确认 Uncordon nodes。

进入维护模式只阻止新 Pod 调度，不会停止或迁移已有 Pod。 需要停机或迁移负载时，请另行安排。

删除集群注册​

  1. 打开集群的 Actions → Delete cluster（操作 → 删除集群）。
  2. 核对集群名称和删除警告。
  3. 点击 Delete（删除），确认注册记录从列表中消失。

删除注册还会删除其独立 Gateway 命名空间，通常为 lens-gateway-<cluster-id>， 以及其中的 Gateway、IPP 和鉴权资源。旧的共享 lens-gateway 命名空间和其他注册的 命名空间不会被删除。如果 Gateway 命名空间删除失败或超时，Lens 会报告错误， 并保留注册记录和凭据，以便重试。

Lens 还会清理它在集群上创建的资源。集群的 HF_TOKEN Secret 会被删除；当保留其所在命名空间已无意义时，该命名空间也会一并删除：即该命名空间是 Lens 创建的，或者该 Secret 是其中唯一的内容。如果命名空间中仍有其他内容，则会保留它；集群的内置命名空间永远不会被改动。对于仍在注册过程中的集群，向导期间创建的存储卷会连同其 PVC 和 PV 一起删除，而 NFS 或 hostPath 上的模型文件会保留。已完成注册且仍存在存储卷的集群必须先删除这些卷才能删除。

看不到集群​

请管理员检查你的集群分配。维护者管理已分配的集群，管理员可以管理所有集群。