概览

什么是评估？

评估是检查 AI 工作流可靠性的关键手段，可能决定工作流是一个不稳定的概念验证，还是可稳健运行的生产流程。构建阶段和部署到生产环境后，都需要评估。

评估的基础是让工作流处理测试数据集。数据集包含多个测试用例，每个用例都包含工作流的示例输入，通常也包含预期输出。

评估可以帮助你：

以下视频介绍了什么是评估、为什么有用，以及其工作方式：

AI 模型与代码有本质区别。代码具有确定性，可以分析其行为；LLM 则像黑盒，很难用同样的方式推断。因此，需要输入数据、观察输出，从而衡量 LLM 的表现。

只有使用能准确反映生产环境各类边界情况的多组输入运行模型后，才能对模型的可靠性建立信心。

构建干净、全面的数据集很难。在早期构建阶段，通常只需生成少量示例，就足以迭代工作流，使其达到可发布或概念验证的状态。可以直接查看和比较结果，了解工作流质量，无需设置正式指标。

部署工作流后，可以更容易地从生产执行中构建更大、更有代表性的数据集。发现问题时，将触发问题的输入加入数据集。修复后，应让工作流重新处理整个数据集，进行回归测试，检查修复是否无意间影响了其他部分。

测试用例过多时，难以逐一检查。评估通过指标衡量输出质量，指标是表示某项特征的数值，也便于跟踪不同运行之间的质量变化。