可观测性
打开 **Observability(可观测性)**安装或查看监控。 Cluster 查看集群监控,Accelerators 查看加速器指标,Deployments 查看单个模型部署。
查看集群可观测性状态
- 打开 Observability → Cluster(集群)。
- 使用目标集群选择你想查看的集群。
- 在命名空间中输入你要检查的命名空间,然后点击检查。
- 查看实时状态、安装操作和技术栈组件。
- 当这些按钮针对当前状态出现时,使用刷新、重试或重新检查。
安装集群可观测性技术栈
- 在集群标签中,选择目标集群。
- 如果页面显示安装技术栈或安装可观测性技术栈,点击它。
- 确认命名空间,安装模式保持 Central (recommended)(中心化,推荐)。
- 点击运行预检。
- 预检失败时,修正列出的检查项,再次运行预检。
- 预检通过后,点击安装技术栈。
- 跟踪安装操作的进度,直到页面报告集群可观测性技术栈安装成功。
重新安装集群可观测性技术栈
- 在集群标签中,点击重新安装(如果该操作可用)。
- 在重新安装可观测性技术栈中,查看关于重新安装会删除已存储指标的 警告。
- 勾选我了解现有的指标数据将被永久删除。
- 点击运行预检。
- 预检通过后,点击重新安装技术栈。
打开集群仪表盘
- 停留在集群标签。
- 在 GUIs 中,点击 Prometheus 或 Grafana。
- 如果无法打开仪表盘,请阅读按钮旁显示的内联错误信息。
查看加速器可观测性
- 打开加速器标签。
- 选择目标集群,再选择 Accelerator type(加速器类型)。
- 查看 GPU 访问模式,如有需要,可在该加速器支持的模式之间切换 (例如 DRA 和设备插件)。
- 查看所选加速器的可观测性界面和技术栈组件。
- 当这些操作可用时,使用 Prometheus、Grafana、刷新或重试。
安装或修复加速器可观测性
- 打开加速器标签并选择目标集群。
- 如果页面显示安装加速器可观测性、修复/重新安装或重新安装, 点击与你当前状态匹配的操作。
- 在安装加速器可观测性中,设置命名空间和 GPU 访问模式。
- 点击运行预检。
- 查看预检的检查项、警告和命令预览。
- 预检通过后,点击安装。
- 关注安装操作,直到页面报告所选加速器安装成功(例如 NVIDIA GPU 可观测性安装成功)。
管理某个部署的部署监控
- 打开部署标签。
- 在目标集群中选择集群。
- 在部署监控中,为要管理的部署打开监控菜单。
- 当没有监控时选择安装;当监控已禁用时选择启用;当监控已启用时 选择禁用;选择卸载以将其移除。在部署本身就绪之前,安装和启用 均不可用,因为监控采集的是该部署的 Pod。
- 等待监控状态更新,再打开仪表盘。
打开部署仪表盘
- 在部署标签中,为已启用监控的某个部署打开监控菜单。
- 点击打开 Grafana或打开 Prometheus。
查看部署性能剖析
- 在部署标签中,打开某个部署的监控菜单,点击性能剖析。
- 在部署性能剖析中,按需在流量指标的请求和 Token 之间 切换。
- 保持 Flow Map(流程图)处于选中状态,以查看当前的流水线拓扑图。
- 使用查看实时流程节点下的节点按钮,在侧边抽屉中打开各节点的指标。
- 在流程图工具栏中,使用放大、缩小、重置视图和适应视图。
- 点击 Back to deployments(返回部署列表)。
安装失败或仪表盘无法打开
查看失败的检查项或 **Installation operation(安装操作)**日志,解决提示的问题后, 点击 **Retry(重试)**或 Recheck(重新检查)。 不要将 **Reinstall(重新安装)**当作刷新按钮:重装集群监控会永久删除已有指标。