EvalPlus

在隔离环境中评估模型生成代码的正确性

准备输入

• 兼容模型或已生成的代码样本及评估数据集

操作步骤

1. 安装 EvalPlus，选择模型、后端和数据集，使用 codegen 生成待评估样本。
2. 将样本交给容器内的 evaluate 运行测试，读取评估结果并检查失败案例，记录模型和评估配置。

评估会执行生成代码，应使用隔离环境并控制资源；基准结果只覆盖对应测试集，不能直接保证实际项目代码安全或正确。