ルーブリックを作成するシステムを評価しています。

01問題

生成されたスコアカードには独自のチェックが必要です。

Rubrex の内部ジェネレーターは、見込み客のコンテキストを評価ルーブリックに変換します。洗練されたスコアカードは、その基準が製品を反映し、さまざまな種類の失敗を区別し、一貫してスコアを付ける方法をレビュー担当者に伝える場合にのみ役立ちます。

生成されたルーブリックを評価で使用する前に、どこで問題が発生したかを見つけたいと思いました。実際的な問題は、審査員がこのスコアカードを適用して、その結果の判断を説明できるかということでした。

02メソッド

解答だけでなくルーブリックも見直してください。

6 つの代表的な見込み顧客プロファイルに対してジェネレーターを実行しました。 12 部構成のメタルーブリックが共通のレビュー フレームワークを提供し、3 つの批評家レンズが生成されたスコアカードをさまざまな観点から検査しました。これにより、批判が十分具体的になり、迅速な変更が可能になりました。

構造検証を意味論的レビューから分離しました。決定論的チェックは、スキーマ、重み、およびスコアリング アンカー構造をカバーします。人間によるレビューでは、その基準が実際に製品に適合しているかどうか、またアンカーが品質における意味のある違いを伝えているかどうかが問われます。リリース前に両方が必要です。

03発見と変化

障害は修正できるほど具体的でした。

このレビューでは、適切に形成された回答だけでは明らかにできない 4 つの繰り返し発生する問題が明らかになりました。

• 汎用テンプレート。 一部のルーブリックは会社名の交換に相当し、製品の実際の使用例との関連性が低すぎました。
• 基準が重複しています。 別の次元では同じ問題が 2 回カウントされ、最終的な判断が歪む可能性があります。
• 曖昧な得点アンカー。 記述により、レビュー担当者は、あるスコアを別のスコアよりも選択する明確な根拠がなくなりました。
• 発明された製品の詳細。 利用可能な証拠が薄い場合、ジェネレータはサポートされていない仮定でギャップを埋める可能性があります。

これらの発見により、7 つの迅速な修正が行われました。彼らは改訂作業に明確な目標を与えました。つまり、提供されたコンテキストを使用し、基準を分離し、採点の決定を明示的にし、不足している情報を発明するのではなく明らかにすることです。

04これが示すもの

批判を次のテスト可能な変更に変えます。

代表的なインプットから始めて、優れたアウトプットに何が必要かを定義し、それぞれの批判を特定の失敗に結び付け続けます。これにより、チームは主観的なプロンプト調整を再度行うのではなく、具体的な変更をテストできるようになります。

これは、信頼性スプリントの対象となる種類の作業です。評価セット、ベースライン、障害の内訳、および対象を絞った実験です。この内部調査はその方法を実証しています。測定された精度の向上や外部クライアントの結果を確立するものではありません。