跳到主要内容

快速开始

按这条路径获得模型回复：安装 Lens → 添加集群 → 部署模型 → 发布服务 → 发送请求。

1. 安装并打开 Lens​

在 Ubuntu 22.04+（x86_64）机器上，无需克隆仓库即可运行在线安装器。 将 VERSION 设为 main 或包含在线安装器的发布标签：

VERSION=main && curl -fsSL "https://raw.githubusercontent.com/llm-d-incubation/llm-d-lens/${VERSION}/scripts/LensInstaller-Ubuntu-x86_64-online.sh" | bash

也可使用 wget：

VERSION=main && wget -qO- "https://raw.githubusercontent.com/llm-d-incubation/llm-d-lens/${VERSION}/scripts/LensInstaller-Ubuntu-x86_64-online.sh" | bash

接受安装器默认值，或填写自己的安装目录和端口。 完成后打开安装器打印的地址，使用自动生成的管理员凭据登录。 安装器会打印保存凭据的 mode-600 文件路径；修改密码后该文件会被删除。 提示从终端读取，校验源码后在当前目录保存安装器副本。安装目录必须是新建或空目录。 从源码运行的方式见安装指南。

2. 添加集群并部署模型​

  1. 在 **Clusters（集群）**中点击 Add，上传集群的 kubeconfig。
  2. 完成代理、网关、加速器、软件准备和模型缓存步骤，点击 Finish → Done。
  3. 在 **Model cache（模型缓存）**中将模型下载到缓存卷，等待就绪。
  4. 在 **Model Market（模型市场）**中选择模型和集群，点击 Manual → Configure deployment，使用 llm-d Guide 部署。
  5. 选择 optimized-baseline，检查推荐资源，再点击 Generate YAML → Confirm & generate → Next。
  6. 在 **Deployments（部署）**中等待 Ready（就绪）。

逐项填写方法见添加集群并部署模型。

3. 发布并调用模型​

  1. 在 **Model services（模型服务）**中点击 Add model service，选择集群、填写公开模型名称，点击 Create。
  2. 点击 Add model server，依次选择集群、模型服务和部署，再点击 Add provider。
  3. 在 API keys 中点击 New key，创建并立即保存密钥。
  4. 在 **My services（我的服务）**中找到模型，点击 cURL。
  5. 复制请求，将 lens-mk-... 替换成自己的密钥，在终端运行。

**收到模型回复即表示调用成功。**网关未就绪时，按发布模型服务完成安装和检查。

4. 测量性能​

按评估一个部署运行小负载。 它直接测试刚发布的服务，不会再部署一个模型。