模拟
使用 Simulation(模拟),将请求轨迹数据集重放到模型服务或指定端点。
创建模拟任务
- 打开 Simulation,点击 New Task(新建任务)。
- 在 Benchmark & Endpoint 中选择 Benchmark tool(测试工具)。
- 在 **Inference Endpoint(推理端点)**中,按下表选择 Model Service 或 Endpoint URL。
- 填写 Model access token(访问令牌),检查解析出的 Model(模型)。
- 在 Scenario & Prompt 中选择场景和 Trace dataset(轨迹数据集)。未下载时点击 Download dataset。
- 数据集有时间线时,选择重放起止位置、缩放系数和持续时间。
- 在 Load & Backend 中检查 Stream responses(流式响应);需要判断是否达标时,再填写 TTFT、TPOT 或错误率目标。
- 在 Task Details 中填写 **Task name(任务名称)**和可选描述。
- 点击 Create Task(创建任务),打开新任务卡片查看进度。
| 端点选项 | 需要提供 |
|---|---|
| Model Service | 已发布且健康的模型服务,以及个人模型访问令牌 |
| Endpoint URL | 待测试的地址;服务要求认证时还需令牌 |
没有服务或令牌时,先发布模型服务。 首次运行保留 Advanced backend settings(高级后端设置)。
选择 Endpoint URL 时,Lens 会通过端点的 /v1/models API 进行校验,并使用可选的模型访问令牌。
校验未完成或失败时,无法继续或创建任务,即使手动输入模型名称也不能绕过校验。
请修正 URL 或令牌,或在连接恢复后点击 Retry endpoint validation(重试端点校验)。
后端会在保存或调度新任务、重跑任务之前再次校验。DNS、连接、超时、认证错误或无效的模型列表都会阻止创建。
校验成功不保证端点在运行期间始终可用。
以 .svc.cluster.local 结尾的地址使用 Kubernetes 集群 DNS,Lens 后端主机可能无法解析。
对于已发布的集群服务,请选择 Model Service,使用集群内的压测执行路径。
其他情况应提供 Lens 后端和压测运行环境均可访问的端点。
查看结果
- 打开任务卡片。
- 在 **Summary(摘要)**中检查任务状态、已完成请求和主要指标。
- 在 **Latency(延迟)**中查看 TTFT、TPOT 随时间的变化,在 **Throughput(吞吐量)**中查看处理速率。
- 打开 **Errors & Logs(错误与日志)**排查失败。
- 在 **Artifacts(产物)**中点击文件旁的 Download(下载)。
缺失指标不是零。指标不可用时,先检查 Task Log(任务日志),确认运行或采集是否失败。
停止、重跑或删除任务
| 目标 | 操作 |
|---|---|
| 停止运行中的任务 | 在卡片或详情页点击 Stop(停止) |
| 再跑一次已结束的任务 | 点击 Rerun(重跑),使用相同配置创建新任务 |
| 删除已结束的任务 | 点击 Delete(删除),核对弹窗后点击 Delete Task |
删除前先下载需要保留的文件。
查找历史任务
- 使用搜索、状态卡片、Model 或 Dataset 缩小范围。
- 按日期或端点筛选时,打开 Advanced Filters,填写条件并点击 Apply Filters。
- 使用 Rows per page 和分页按钮查看更多结果,Clear Filters 清除筛选。
自动化运行见模拟 API 参考。