Ragas

为应用输出建立一项可复用的评价规则

准备输入

• 待评价的应用输出、明确的判断标准和允许返回的评价值。
• 已配置模型服务访问的 Ragas 环境。

操作步骤

1. 安装 Ragas，配置模型客户端和访问凭据，明确本次评价要回答的问题。
2. 创建 DiscreteMetric，设置名称、允许值和带输出变量的评价提示词。
3. 用 ascore 提交应用输出，查看 score.value 与 score.reason，人工复核有歧义或判断不一致的样本。

示例评价依赖外部语言模型及 API 凭据；评价提示词应提供判断所需的信息，模型给出的评价仍需用代表性样本复核。