LLM 評価にはサンプルがいくつ必要ですか?

限られたサンプルについての研究結果

2025 年のプレプリントでは、サンプルが限られている場合のベイズ能力評価を研究しています。 2026 年のアクティブ評価論文では、評価するタスクの選択がランキングの効率にどのような影響を与えるかを研究しています。これらはさまざまな設定に対応します。どちらも、ビジネス アプリケーションに普遍的な数の例を提供するものではありません。

証拠: 大規模言語モデル評価の信頼性: 限られたサンプルの課題に対するベイジアン アプローチ [1]一般エージェントの積極的な評価: 問題定義とベースライン アルゴリズムの比較 [2]

カバレッジと精度を分離する

報道では、重要な状況が表現されているかどうかが問われます。精度は、サンプリング モデルの下で推定レートがどの程度不確実であるかを尋ねます。ほぼ同一の簡単な質問が多数あると、役に立たない母集団の間隔が狭くなる可能性があります。意図的に変化させた小規模なセットでは、正確な製造不良率を裏付けることなく、設計上の問題が明らかになる可能性があります。

タスクと失敗による結果のマップから始めます。文書アシスタントの場合、これには、回答可能な質問、欠落している証拠、矛盾するバージョン、制限された文書、および長い入力が含まれる可能性があります。ランダムにサンプリングされたトラフィックとは別に、ターゲットを絞ったチャレンジ ケースにラベルを付けます。開示せずにこれらを組み合わせると、全体の割合を解釈することが難しくなります。

仮定を含む計画計算

安定した母集団からサンプリングされた独立したバイナリ結果の場合、マージン e の 95% 区間における大まかな正規近似計画式は、n ≈ 1.96² × p × (1 − p) / e² となります。 p = 0.5 および e = 0.05 を使用すると、約 385 の独立したケースが得られます。この演算は例示であり、推奨されるデフォルトではありません。

実際の評価セットは、これらの仮定に違反することがよくあります。 1 つの文書からの複数の質問、エージェントの反復試験、および合成バリエーションを相関させることができます。まれに重大な障害が発生する場合は、一般的な成功率の推定とは異なる設計が必要です。カウントが小さい場合や極端なレートの場合は、この近似値を信頼するのではなく、適切な間隔を使用してください。モデルの比較には、無関係な 2 つのマージンではなく、一対の分析も必要です。

実例: 10 回の再試行は 10 人の顧客ではありません

それぞれ 10 回生成される 40 のサポート シナリオを想像してください。出力は 400 ありますが、個別のシナリオは 40 のみです。再試行は、モデルがそれらのタスクで一貫して動作するかどうかを示します。 360 件の新しい顧客状況のカバレッジは追加されません。

シナリオ レベルの概要とトライアル レベルの概要を保持します。リリースの決定が新しいリクエストへの一般化に関係する場合は、独立したシナリオを追加します。既知の重要なリクエストでの不安定な動作に関係する場合は、より多くの反復試行をそこに割り当てます。追加支出によってどのような不確実性を軽減することが目的であるかを文書化します。

勝者を見る前に停止ルールを設定する

どの改善が重要か、どの回帰がリリースをブロックするか、どのような不確実性が許容されるかを事前に決定します。パイロットは、障害の蔓延と不一致を推定するのに役立ち、その後、より大規模な調査を行うことができます。結果を繰り返し確認し、候補者の方が良くなったと判断した場合にのみ停止することは避けてください。そのため、見かけ上の自信が誤解を招くことになります。

• 独立タスク数と総世代数を別々に記録します。
• チャレンジ設定のスコアをトラフィック加重推定値とは別にしてください。
• パーセンテージの横にスライスごとのカウントを含めます。
• 結果として生じる統計上の決定を適切な専門家にエスカレーションします。

よくある質問