チャットボット、ワークフロー、または AI エージェント:どれを構築する必要がありますか?

インターフェイスをコントロールから分離する

会話型インターフェイスでは、システムがどのように動作するかはわかりません。サポート アシスタントは、固定されたワークフローを通じて文書を取得し、返信の草案を作成することができます。別の人はアカウントを検査し、ツールを選択し、記録を変更するかもしれません。 Anthropic は、事前定義されたパスを持つワークフローを、独自のプロセスを指示するエージェントから区別します。この区別は、ベンダーが自社製品をコパイロットと呼ぶかどうかよりも、エンジニアリングにとって有益です。フレームワークを選択する前に、実際の意思決定の順序を描きます。

証拠: 効果的なエージェントの構築 [1]

最も単純で有用なパスから始めます

文書の概要については、明確な出力契約を伴う 1 回の呼び出しで十分な場合があります。承認プロセスの場合、明示的な手順により所有権を検査しやすくなります。次のステップが実行中に発見された情報に依存する場合、エージェントはテストする価値があります。同じタスク セットでこれらのオプションを比較することをお勧めします。エージェントにより良いデータやより広範な権限を与えて、すべての改善を自律性のおかげだと考えないでください。システムの境界を表示したままにします。

追加の各決定のコストを測定する

最終応答が成功すると、繰り返しの呼び出し、失敗したアクション、または手動による救助が隠蔽される可能性があります。ユーザーにとって重要な作業単位でこれらのコストを計算してください。タスクに 5 回の試行が必要な場合は、最終的な成功と最初の試行の成功の両方を報告します。この提案された測定計画は、柔軟なツールの選択がさらに複雑になるかどうかを特定するのに役立ちます。テストを実行する前に期間とアクションの予算を設定して、システムが無制限のリソースを消費して完了スコアを向上させることができないようにします。

失敗とハンドオフを監視可能にする

すべてのアクションにトレース識別子、明確な許可境界、および記録された結果を与えます。欠落している資格情報、空の取得結果、およびアクションが部分的に完了した後にタイムアウトになるツールをテストします。有用な引き継ぎは、無関係な顧客情報を暴露することなく、何が起こったのか、何が不明のままなのかをその人に伝えます。自律性を拡張する前に、重複したアクションが防止され、必要な情報が不足した場合にシステムが停止できることを確認してください。これらのチェックは、言語モデル自体が適切に機能する場合でも適用されます。

よくある質問