完整文档索引见 llms.txt。在页面 URL 后附加
.md即可获取 Markdown 版本;本页的 Markdown 版本可在此获取。
评估
评估测试运行相关操作
获取测试运行
获取工作流的评估测试运行。
/workflows/{workflowId}/test-runs请求参数
| 参数 | 位置 | 类型 | 必填 | 说明 |
|---|---|---|---|---|
limit | query | number | 否 | 最多返回的数据项数量。 默认值: |
cursor | query | string | 否 | 将 cursor 参数设为上次请求响应中的 nextCursor 属性,以进行分页。使用默认值时,获取集合的第一页。更多信息,请参阅分页说明。 |
workflowId | path | string | 是 | 工作流的 ID。 |
status | query | string | 否 | 用于筛选测试运行的状态。 可选值: |
响应
| 状态码 | 说明 |
|---|---|
200 | 操作成功。 |
400 | 请求无效,或提供的数据格式错误。 |
401 | 未授权 |
403 | 禁止访问 |
404 | 未找到指定资源。 |
响应结构:200 · application/json
| 字段 | 类型 | 必填 | 说明 | ||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
data | array | 是 | 展开字段
| ||||||||||||||||||||||||||||||||||||||||||||||||
nextCursor | string | 是 | 将 cursor 参数设为先前请求返回的 nextCursor 属性,以对测试运行进行分页。使用默认值时,获取集合的第一页。 |
触发测试运行
为工作流启动新的评估测试运行。工作流必须包含已配置的评估触发器。除 `workflow:execute` 项目作用域外, 还需要 `testRun:create` API 密钥作用域。
/workflows/{workflowId}/test-runs请求参数
| 参数 | 位置 | 类型 | 必填 | 说明 |
|---|---|---|---|---|
Idempotency-Key | header | string | 否 | 此 POST 请求的安全重试键。使用 1 到 128 个可见 ASCII 字符。相同的键配合相同的请求,会返回首次成功的响应。使用此键发送不同请求时返回 422。首次请求仍在处理时重试,会返回 409。 |
workflowId | path | string | 是 | 工作流的 ID。 |
响应
| 状态码 | 说明 |
|---|---|
201 | 操作成功。 |
400 | 请求无效,或提供的数据格式错误。 |
401 | 未授权 |
402 | 需要付费 |
403 | 禁止访问 |
404 | 未找到指定资源。 |
409 | 冲突 |
422 | 无法处理的实体 |
响应结构:201 · application/json
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
id | string | 是 | |
status | string | 是 | 可选值: |
createdAt | string | 是 |
获取单次测试运行
获取工作流的单次评估测试运行,包括汇总指标和最终结果。
/workflows/{workflowId}/test-runs/{runId}请求参数
| 参数 | 位置 | 类型 | 必填 | 说明 |
|---|---|---|---|---|
workflowId | path | string | 是 | 工作流的 ID。 |
runId | path | string | 是 | 测试运行的 ID。 |
响应
| 状态码 | 说明 |
|---|---|
200 | 操作成功。 |
401 | 未授权 |
403 | 禁止访问 |
404 | 未找到指定资源。 |
响应结构:200 · application/json
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
id | string | 是 | |
status | string | 是 | 可选值: |
runAt | string | 是 | |
completedAt | string | 是 | |
metrics | object | 是 | 汇总此次运行中所有测试用例收集的指标。 |
errorCode | string | 是 | |
errorDetails | object | 是 | |
finalResult | string | 是 | 运行的总体结果,完成后根据其测试用例得出。 可选值: |
testCaseCount | integer | 是 | |
createdAt | string | 是 | |
updatedAt | string | 是 |
获取测试运行用例
获取评估测试运行中各用例的结果。
/workflows/{workflowId}/test-runs/{runId}/test-cases请求参数
| 参数 | 位置 | 类型 | 必填 | 说明 |
|---|---|---|---|---|
limit | query | number | 否 | 最多返回的数据项数量。 默认值: |
cursor | query | string | 否 | 将 cursor 参数设为上次请求响应中的 nextCursor 属性,以进行分页。使用默认值时,获取集合的第一页。更多信息,请参阅分页说明。 |
workflowId | path | string | 是 | 工作流的 ID。 |
runId | path | string | 是 | 测试运行的 ID。 |
响应
| 状态码 | 说明 |
|---|---|
200 | 操作成功。 |
400 | 请求无效,或提供的数据格式错误。 |
401 | 未授权 |
403 | 禁止访问 |
404 | 未找到指定资源。 |
响应结构:200 · application/json
| 字段 | 类型 | 必填 | 说明 | ||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
data | array | 是 | 展开字段
| ||||||||||||||||||||||||||||||||||||||||||||
nextCursor | string | 是 | 将 cursor 参数设为先前请求返回的 nextCursor 属性,以对测试用例进行分页。使用默认值时,获取集合的第一页。 |
取消测试运行
取消工作流正在进行的评估测试运行。除 `workflow:execute` 项目作用域外,还需要 `testRun:cancel` API 密钥作用域。
/workflows/{workflowId}/test-runs/{runId}/cancel请求参数
| 参数 | 位置 | 类型 | 必填 | 说明 |
|---|---|---|---|---|
Idempotency-Key | header | string | 否 | 此 POST 请求的安全重试键。使用 1 到 128 个可见 ASCII 字符。相同的键配合相同的请求,会返回首次成功的响应。使用此键发送不同请求时返回 422。首次请求仍在处理时重试,会返回 409。 |
workflowId | path | string | 是 | 工作流的 ID。 |
runId | path | string | 是 | 测试运行的 ID。 |
响应
| 状态码 | 说明 |
|---|---|
202 | 操作成功。 |
400 | 请求无效,或提供的数据格式错误。 |
401 | 未授权 |
403 | 禁止访问 |
404 | 未找到指定资源。 |
409 | 冲突 |
422 | 无法处理的实体 |
响应结构:202 · application/json
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
id | string | 是 | |
status | string | 是 | 可选值: |