跳到主要内容

可观测性

打开 **Observability(可观测性)**安装或查看监控。 Cluster 查看集群监控,Accelerators 查看加速器指标,Deployments 查看单个模型部署。

查看集群可观测性状态​

  1. 打开 Observability → Cluster(集群)。
  2. 使用目标集群选择你想查看的集群。
  3. 在命名空间中输入你要检查的命名空间,然后点击检查。
  4. 查看实时状态、安装操作和技术栈组件。
  5. 当这些按钮针对当前状态出现时,使用刷新、重试或重新检查。

安装集群可观测性技术栈​

  1. 在集群标签中,选择目标集群。
  2. 如果页面显示安装技术栈或安装可观测性技术栈,点击它。
  3. 确认命名空间,安装模式保持 Central (recommended)(中心化,推荐)。
  4. 点击运行预检。
  5. 预检失败时,修正列出的检查项,再次运行预检。
  6. 预检通过后,点击安装技术栈。
  7. 跟踪安装操作的进度,直到页面报告集群可观测性技术栈安装成功。

重新安装集群可观测性技术栈​

  1. 在集群标签中,点击重新安装(如果该操作可用)。
  2. 在重新安装可观测性技术栈中,查看关于重新安装会删除已存储指标的 警告。
  3. 勾选我了解现有的指标数据将被永久删除。
  4. 点击运行预检。
  5. 预检通过后,点击重新安装技术栈。

打开集群仪表盘​

  1. 停留在集群标签。
  2. 在 GUIs 中,点击 Prometheus 或 Grafana。
  3. 如果无法打开仪表盘,请阅读按钮旁显示的内联错误信息。

查看加速器可观测性​

  1. 打开加速器标签。
  2. 选择目标集群,再选择 Accelerator type(加速器类型)。
  3. 查看 GPU 访问模式,如有需要,可在该加速器支持的模式之间切换 (例如 DRA 和设备插件)。
  4. 查看所选加速器的可观测性界面和技术栈组件。
  5. 当这些操作可用时,使用 Prometheus、Grafana、刷新或重试。

安装或修复加速器可观测性​

  1. 打开加速器标签并选择目标集群。
  2. 如果页面显示安装加速器可观测性、修复/重新安装或重新安装, 点击与你当前状态匹配的操作。
  3. 在安装加速器可观测性中,设置命名空间和 GPU 访问模式。
  4. 点击运行预检。
  5. 查看预检的检查项、警告和命令预览。
  6. 预检通过后,点击安装。
  7. 关注安装操作,直到页面报告所选加速器安装成功(例如 NVIDIA GPU 可观测性安装成功)。

管理某个部署的部署监控​

  1. 打开部署标签。
  2. 在目标集群中选择集群。
  3. 在部署监控中,为要管理的部署打开监控菜单。
  4. 当没有监控时选择安装;当监控已禁用时选择启用;当监控已启用时 选择禁用;选择卸载以将其移除。在部署本身就绪之前,安装和启用 均不可用,因为监控采集的是该部署的 Pod。
  5. 等待监控状态更新,再打开仪表盘。

打开部署仪表盘​

  1. 在部署标签中,为已启用监控的某个部署打开监控菜单。
  2. 点击打开 Grafana或打开 Prometheus。

查看部署性能剖析​

  1. 在部署标签中,打开某个部署的监控菜单,点击性能剖析。
  2. 在部署性能剖析中,按需在流量指标的请求和 Token 之间 切换。
  3. 保持 Flow Map(流程图)处于选中状态,以查看当前的流水线拓扑图。
  4. 使用查看实时流程节点下的节点按钮,在侧边抽屉中打开各节点的指标。
  5. 在流程图工具栏中,使用放大、缩小、重置视图和适应视图。
  6. 点击 Back to deployments(返回部署列表)。

安装失败或仪表盘无法打开​

查看失败的检查项或 **Installation operation(安装操作)**日志,解决提示的问题后, 点击 **Retry(重试)**或 Recheck(重新检查)。 不要将 **Reinstall(重新安装)**当作刷新按钮:重装集群监控会永久删除已有指标。