会話全体にわたってマルチターンアシスタントを評価する

最近の研究はインタラクションの質に焦点を当てています

2026 年 5 月のプレプリントでは、人間と AI の相互作用における透明性、一貫性、洗練を中心としたフレームワークが提案されています。 2026 年 8 月の調査では、継続的な課題として永続的な記憶とクロスターングラウンディングについて議論されています。これらの情報源は、単一の回答を超えて評価を広げますが、すべての会話製品に対して 1 つの標準スコアを確立するわけではありません。

証拠: マルチターンの人間と AI のインタラクションの評価 [1]テキストからマルチモーダルインタラクションまでのマルチターン会話型 AI: データ、モデル、評価、未解決の課題 [2]

会話状態を明示的に書き込む

ユーザーの目標、アクティブな制約、未解決の質問、および意味のある各ターンの後に許可されるアクションを表します。ユーザーが要件を変更した場合、どの以前の条件が置き換えられ、どの条件が引き続き有効であるかを記録します。これにより、レビュー担当者はモデルの内部推論にアクセスすることなく、観察可能なターゲットを得ることができます。

存続すべき記憶とそうでない情報を区別します。アシスタントは、別の顧客の詳細を隔離したまま、セッション内の書式設定を記憶する必要がある場合があります。評価には、実際の製品のセッションとアイデンティティの境界を反映する必要があります。

現実的な会話の遷移をテストする

Rubrex は、ユーザーが曖昧な要求を明確にする、事実上の仮定を修正する、目的の形式を変更する、操作を中断する、または以前の目標に戻るというシナリオを推奨しています。 1 つの質問をするだけで役立つ場合と、繰り返し説明することで不必要な摩擦が生じる場合を含めます。

制御された比較が必要な場合は固定トランスクリプトを使用し、分岐動作が重要な場合は慎重に指定されたシミュレータを使用します。シミュレータがアシスタントに追加のヒントを与えるか、または途中での完了を受け入れるかどうかを検査します。シミュレータは測定システムの一部であり、独自のバイアスを導入する可能性があります。

実例: 1 つの制約が変更され、別の制約が存続する

ユーザーは、技術的な対象者向けに 200 ワード未満の概要を要求し、その後、非技術的なバージョンを要求します。聴衆は変わります。長さの制約は自動的には消えません。最終応答が明確であっても長さが 500 語である場合は、維持されている要件を満たしていません。

最終的なアーティファクトとトランジションをスコアリングします。アシスタントは、以前に拒否された仮定を再導入することなく修正を適用しましたか?ユーザーが明示的に長さ制限を削除するケースを追加します。これにより、以前のすべての指示を厳格に保持することが評価で報われることがなくなります。

結果と対話コストを報告する

タスクの完了、制約の保存、修正の取り込み、サポートされていない仮定、および回避可能な明確化ターンを追跡します。なぜ長い会話が必要なのか、あるいは無駄なのかを例を使って説明します。ターンが増えると本質的に悪くなるわけではありません。適切に説明することで、誤った行動を防ぐことができます。

• ユーザーが修正するたびにアクティブなタスクを定義します。
• セッション境界と ID 分離を確認します。
• シミュレートされたユーザーのポリシーを候補者全体で一貫したものにします。
• 有益な説明と繰り返しの質問を区別します。

よくある質問