AI 評価エンゲージメントは何を提供する必要がありますか?

スコアと同じくらい測定プロセスも重要

現在の評価ツールは、オフライン実験とオンライン監視を区別します。最近の信頼性研究では、タスクの成功の総計を超えた次元についても議論されています。これらは、購入者が範囲の議論に持ち込むのに役立つ質問ですが、商業的な関与を定義したり、プロバイダーの品質を保証したりするものではありません。

証拠: ラングスミスの評価 [1]AI エージェントの信頼性の科学に向けて [2]

1 つの決定と限定されたユースケースから始める

Rubrex では、システム、ユーザー タスク、展開段階、利用可能なデータ、および意思決定所有者を指定することをお勧めします。作業が評価の構築であるか、既存のルーブリックの実行であるか、障害パターンの調査であるか、修正の実装であるかを決定します。これらは、さまざまな入力と成果物を備えた関連サービスです。

除外されるものに同意します。焦点を絞った評価は、自動的に完全なセキュリティ監査、無制限のラベル付けプログラム、または運用環境の実装にはなりません。プロジェクト データを提供する前に、アクセス、ツール、保持、レビューの責任を明確にします。最初のお問い合わせフォームには機密データセットを含めないでください。

検査可能なアーティファクトを要求する

有用なデータセットには、出所、予想される動作、レビュー ステータス、および意味のあるスライスが含まれます。採点仕様には、正確なチェック、ルーブリック、採点者、およびキャリブレーションが説明されています。ベースライン レコードには、構成、個々の出力、障害、実行を再現するために必要な仮定が含まれます。

故障分析では、すべての説明を証明された原因として提示するのではなく、観察結果を提案された調査に結び付ける必要があります。改善実験が含まれる場合は、構成の変更、再実行、回帰や決定的でない結果についての議論が必要です。

実例: 上昇要求なしの有用な結果

チームは、観察された障害のほとんどが、世代の品質ではなく証拠の欠如に起因していることを発見しました。この評価では精度の向上はまだ実証されていませんが、テスト可能な回復介入とそれを測定するために必要なケースが特定されました。これは、診断とベースラインの作成が範囲である場合には、有益なエンゲージメントの結果となる可能性があります。

レポートでは、プロンプト編集またはレビューされた例の数を、主張される改善率に変換するべきではありません。どの結果が、どのサンプルで、どのベースラインに対して、どのような不確実性が残っているかを測定したのかを尋ねます。

Rubrex が開始エンゲージメントの範囲をどのように設定するか

Rubrex AI 信頼性スプリントは、アクセスと入力の準備が整ってから 10 営業日にわたって 1 つの優先ユースケースをカバーします。この範囲には、品質バー、ベースライン、障害分析、1 つの対象を絞った改善実験、および文書化された引き継ぎが含まれます。価格および追加の実行またはエンジニアリング作業は、書面による範囲で合意されます。

技術所有者、代表的な例、システムへのアクセス、および作業セッションの時間を連れてきます。次の有益な会話は、チームが下す必要がある決定と、現在不足している証拠についてです。

よくある質問