用本机 27B 模型当评委：自建 AI 评测基准的一次踩坑记录

公共排行榜的问题很直接：测的不是你关心的能力，而且谁都能对着榜单优化。于是我试着在本机搭了一个小评测基准，用 27B 本地模型当评委。记录几个坑。

坑一：打分不稳定

同一批答案，分三次让评委打分（temperature 默认）：

• 三次平均分波动约 3 分（满分 100）
• 第一名换了一次人

结论：单次打分不可信。 要么固定随机种子跑多次取平均，要么换更稳定的比较方式。

坑二：rubric 措辞会漂分

把评分标准里「逻辑清晰」改成「论证充分」，同一批答案的整体分数肉眼可见地漂移。

结论：rubric 就是评测的一部分，改措辞=改基准。改完必须重新基线。

坑三：pairwise 比打分更稳

改成「两两比较、只选更好的那个」之后：

• 稳定性明显提升（不需要绝对分数）
• 更适合回答「A 是不是比 B 好」这种真正的问题
• 成本是 O(n²) 次调用，样本要控制

我现在的评测流程

1. 先明确要测的一个能力（不要什么都测）
2. 用 pairwise 为主，绝对打分只做粗筛
3. 固定 rubric 版本号，改动要记录
4. 评委模型和被评模型尽量不同源（避免自我偏好）

评测这件事，能跑起来的粗糙基准，好过躺在收藏夹里的完美方案。