在此页面上
简短的回答
没有通用的评估样本量。根据您需要的精度、您必须涵盖的故障类型以及您想要检测的差异来选择独立案例的数量。重复生成可以衡量变异性，但不能取代不同的任务。
拿走什么
- 覆盖率和统计精度回答不同的问题。
- 将同一任务的重复输出视为相关观察。
- 用分数报告不确定性和样本构建过程。
已检查来源 .研究综合和 Rubrex 建议。示例和本地实验均已标记；它们不是客户结果。
研究对有限样本的看法
2025 年的预印本研究了样本有限时的贝叶斯能力评估。 2026 年的一篇主动评估论文研究了选择要评估的任务如何影响排名效率。这些解决了不同的设置；两者都没有提供商业应用程序的通用数量的示例。
证据： 大型语言模型评估的信心：应对有限样本挑战的贝叶斯方法 [1]通用智能体的主动评估：问题定义和基线算法比较 [2]
将覆盖范围与精度分开
覆盖范围询问重要情况是否得到体现。精度询问采样模型下估计速率的不确定性。大量几乎相同的简单问题可能会为无益的人群产生狭窄的区间。较小的、故意变化的集合可以揭示设计问题，但不支持精确的生产故障率。
从任务和失败后果的地图开始。对于文档助理来说，这可能包括可回答的问题、证据缺失、版本冲突、受限文档和长输入。与随机采样的流量分开标记目标挑战案例。在不披露的情况下将它们结合起来会使总体百分比难以解释。
带有假设的规划计算
对于从稳定群体中采样的独立二元结果，粗略的正态近似规划公式为 n ≈ 1.96² × p × (1 − p) / e²，对于 95% 的间隔，边际为 e。使用 p = 0.5 和 e = 0.05 给出大约 385 个独立案例。此算术只是一个说明，并非推荐的默认值。
真实的评估集经常违反这些假设。一份文档中的多个问题、重复的药物试验以及综合变化可以相互关联。罕见的严重故障需要与估计常见成功率不同的设计。对于小计数或极端速率，请使用适当的间隔而不是相信此近似值。模型比较也需要配对分析，而不是两个不相关的边距。
说明性示例：十次重试并不是十个客户
想象 40 个支持场景，每个场景生成十次。有 400 个输出，但只有 40 个不同的场景。重试显示模型在这些任务上的行为是否一致。他们没有增加 360 个新客户情况的覆盖范围。
保留场景级摘要和试验级摘要。如果发布决策涉及对新请求的概括，请添加独立的场景。如果它涉及已知关键请求的不稳定行为，请在那里分配更多的重复试验。记录额外支出旨在减少哪些不确定性。
在看获胜者之前设置停止规则
提前决定哪些改进很重要，哪些回归会阻止发布，以及哪些不确定性是可以接受的。试点有助于估计失败率和分歧，然后可以确定更大规模的研究范围。避免重复检查结果，只有当候选人看起来更好时才停止；这使得表面上的信心具有误导性。
- 分别记录独立任务数和总生成数。
- 将挑战设置分数与流量加权估计分开。
- 除了百分比之外还包括每片计数。
- 将相应的统计决策上报给适当的专家。
证据的局限性
数值示例假设独立的二元观测，并且只是一个规划说明。引用的研究使用自己的模型、假设和评估人群。它不会验证您的部署的特定样本大小。
常见问题
50 个例子足够吗？
他们可以发现规格差距和明显的故障。如果没有更有力的假设和额外的证据，他们通常无法证明关于罕见生产错误的精确主张是合理的。
每个类别都应该具有相同的样本量吗？
不一定。根据暴露程度、不确定性和后果分配案例，同时解释如何对总体估计进行加权。
来源和进一步阅读
本简报背后的主要来源。来源的研究结果适用于其自身的研究条件； arXiv 上的出版物不建立同行评审。
- 大型语言模型评估的信心：应对有限样本挑战的贝叶斯方法 arXiv · 2025 · 预印本已审核： 摘要和出版记录.已访问 2026年9月25日.
- 通用智能体的主动评估：问题定义和基线算法比较 arXiv · 2026 · 预印本已审核： 摘要和出版记录.已访问 2026年9月25日.