在此页面上
简短的回答
通过将其决策与其将评分的任务中独立审查的示例进行比较来校准 LLM 法官。按类别检查错误通过、错误失败和分歧。冻结评分标准并判断配置，然后在输出或模型发生变化时重新检查校准。
拿走什么
- 对一个数据集的一致意见并不能建立普遍的判断可靠性。
- 错误通过和错误失败会产生不同的后果。
- 判断版本是评估配置的一部分。
已检查来源 .研究综合和 Rubrex 建议。示例和本地实验均已标记；它们不是客户结果。
最近的工作问题共享校准假设
2026 年 5 月的预印本检查了基于判断的估计的偏差以及在比较模型之间共享校准时的不稳定性。它描述了比较可能指向错误方向的情况。 JudgeBiasBench 分别研究了多种形式的判断偏差。这些发现激发了针对特定任务的检查，而不是自动信任强大的模型。
建立独立的校准集
Rubrex 建议选择具有代表性的输出，包括明确的通过、明确的失败和困难的边界。让合格的评审员在不看到法官结果的情况下应用书面评分标准。记录分歧和裁决，而不是假设每个人类标签都是明确的。
将用于细化评分者提示的示例与用于评估最终判断的示例分开。重复调整同一校准集可以使协议看起来更好，而无需证明传输。保留示例及其标签历史记录，以便可以公平地比较未来的更改。
检查分歧的形状
对于二元标准，区分错误通过和错误失败。对于序数分数，检查大错误和特定类别的混乱，而不仅仅是相关性。法官可以与评审员类似地对输出进行排名，同时系统地分配过于慷慨的分数。
测试看似合理的令人讨厌的更改：回答顺序、冗长、格式或提供商标识符（当这些更改不应影响质量时）。反转一对是有用的，但它并不能诊断出所有偏差。比较与实际候选者类似的不同输出样式的相同标题。
| 观察 | 为什么它很重要 |
|---|---|
| 错误传递不受支持的主张 | 可以通过释放门承认失败 |
| 简明正确答案错误失败 | 可以奖励不必要的冗长 |
| 格式更改后分数发生较大变化 | 建议与标准无关的敏感性 |
| 候选模型的不同错误 | 可以扭曲模型比较 |
说明性示例：正确但简洁
即使两位候选人都包含了所需的事实并且任务要求简洁，法官一再更喜欢详细的答案。查看标题的长度隐式奖励。添加简洁的正确示例和详细的错误示例，然后在保留的集合上测试修改后的评分器。
不要仅仅指示法官保持公正并假设问题已得到解决。保留分歧前后的记录，并检查更正是否引入了针对必要细节的新偏好。
任务变化时重新校准
将模型标识符、提示、模式、参考材料和评分规则一起版本化。在法官升级、新的候选模型系列、重大提示更改或不同的任务分配后重新检查。当分数重要或证据不足时，保留人工审查的路径。
LLM 评估器：选择和检查评估器模型
法学硕士作为法官使用模型将标准应用于另一个系统的输出。在此工作流程中，评估器模型、提示、参考材料和评分规则形成一个版本化依赖关系。根据您的任务中经过审查的示例的性能来选择这种依赖关系，而不是假设最有能力或最昂贵的模型是最好的判断。
为了评估法官的可靠性，请保留错误分类账：预期标签、评估者标签、解释、受影响的要求以及分歧的后果。比较候选评估者对相同案例的评估。 Rubrex 建议对确切的要求进行确定性检查，并对未解决的判断采取人工升级路径。当应用程序开始产生新类型的答案时，重新访问分类帐。
证据的局限性
人工标签可能包含错误和歧义。校准估计适用于采样任务和输出分布。引用的研究是预印本；本文不会重现他们的估计量，也不会声称校准子集消除了所有偏差。
常见问题
被评估的模型能自我判断吗？
它可以提供信号，但独立验证它。共同的偏好或失败模式可能会使自我评价产生误导。
高度一致就够了吗？
不是单独的。检查哪些情况不一致，这些错误的后果，以及标签分布是否容易达成一致。
来源和进一步阅读
本简报背后的主要来源。来源的研究结果适用于其自身的研究条件； arXiv 上的出版物不建立同行评审。
- 法学硕士法官评估中的偏差和不确定性 arXiv · 2026 · 预印本已审核： 摘要和出版记录.已访问 2026年9月25日.
- 迈向稳健的法学硕士法官：分类偏差评估和去偏差优化 arXiv · 2026 · 预印本已审核： 摘要和出版记录.已访问 2026年9月25日.