AI 製品における人間の引き継ぎ: ラスト マイルの設計と測定

受け取る人のためのデザイン

トランスクリプト ダンプが完全に引き継がれることはほとんどありません。レビュー担当者は、ユーザーが何を望んでいたのか、どの事実が検証されたのか、何らかのアクションによってシステムがすでに変更されているかどうかを知る必要があります。私たちの推奨事項は、承認された証拠へのリンクと明確にマークされた未解決の質問を含むコンパクトな引き継ぎ記録を作成することです。観察をアシスタントの仮説から分離します。アクションが部分的に成功した可能性がある場合は、レビュー担当者が盲目的にそれを繰り返さないように、その不確実性を述べてください。

エスカレーション境界を定義します

一般的なトリガーには、承認の欠落、ソース マテリアルの競合、ツールの繰り返しの失敗、またはサポート対象範囲外のリクエストが含まれます。各カテゴリに所有者を割り当て、その所有者が利用できない場合に何が起こるかを定義します。 NIST の自主的なリスク フレームワークは、AI リスクを管理するための広範なコンテキストを提供しますが、ここでは具体的なハンドオフ設計を規定していません。現実的なケースで境界をテストし、ユーザーの目標が完了したように見せかけることなくシステムが一時停止できることを確認します。

証拠: NIST AI リスク管理フレームワーク [1]

決定の両側を測定する

人間の関与が必要かどうかについて、レビューされたサンプルにラベルを付けます。次に、見逃したエスカレーションと不必要なエスカレーションを区別します。エスカレーション率が低いと、サポートされていない回答が非表示になる一方で効率的に見える可能性があります。過度のエスカレーション率は、ワークロードを減らすどころか移動させる可能性があります。この表は、結果の品質と組み合わせるための運用上の措置を提案しています。 Include cases where the user leaves while waiting, and record whether the reviewer receives enough information to continue without asking the same questions again.

ユーザーエクスペリエンスを正直にする

何が起こっているのか、ハンドオフにどのような情報が伴うのかをユーザーに伝えます。実際のキューまたは割り当てが存在しない限り、専門家がケースを検討していると言うのは避けてください。アプリケーションの保持ポリシーに従って、ユーザーが再起動せずに戻ることができる参照を保持します。解決後、失敗カテゴリを使用してワークフローと評価セットを改善します。意図的な理由と共有の許可がある場合を除き、機密の査読者メモをユーザーが閲覧できる概要に含めないでください。

よくある質問