챗봇, 워크플로, AI 에이전트 중 무엇을 구축해야 할까요?

인터페이스와 제어를 분리하세요

대화형 인터페이스는 시스템 작동 방식을 알려주지 않습니다. 지원 보조원은 고정된 작업 흐름을 통해 문서를 검색하고 답변 초안을 작성할 수 있습니다. 다른 사람은 계정을 검사하고, 도구를 선택하고, 기록을 변경할 수도 있습니다. Anthropic은 사전 정의된 경로가 있는 워크플로와 자체 프로세스를 지시하는 에이전트를 구별합니다. 이러한 구별은 공급업체가 자사 제품을 부조종사라고 부르는 것보다 엔지니어링에 더 유용합니다. 프레임워크를 선택하기 전에 실제 결정 순서를 그려보세요.

증거: 효과적인 에이전트 구축 [1]

가장 단순한 유용한 경로로 시작하세요

문서 요약의 경우 명확한 출력 계약이 있는 한 번의 호출이면 충분할 수 있습니다. 승인 프로세스의 경우 명시적인 단계를 통해 소유권을 더 쉽게 검사할 수 있습니다. 에이전트는 실행 중에 발견된 정보에 따라 다음 단계가 달라질 때 테스트할 가치가 있습니다. 동일한 작업 세트에서 이러한 옵션을 비교하는 것이 좋습니다. 에이전트에게 더 나은 데이터나 더 광범위한 권한을 부여한 다음 모든 개선 사항을 자율성에 귀속시키지 마십시오. 시스템 경계를 눈에 띄게 유지하세요.

각 추가 결정의 비용을 측정합니다.

성공적인 최종 답변은 반복 호출, 실패한 작업 또는 수동 구조를 숨길 수 있습니다. 사용자에게 중요한 작업 단위로 이러한 비용을 계산합니다. 작업에 5번의 시도가 필요한 경우 최종 성공과 첫 번째 시도 성공을 모두 보고합니다. 제안된 측정 계획은 유연한 도구 선택으로 인해 추가적인 복잡성이 발생하는지 여부를 식별하는 데 도움이 됩니다. 시스템이 무제한 리소스를 소비하여 완료 점수를 향상시킬 수 없도록 테스트를 실행하기 전에 기간 및 작업에 대한 예산을 설정하십시오.

실패 및 핸드오프를 관찰 가능하게 만듭니다.

모든 작업에 추적 식별자, 명확한 권한 경계 및 기록된 결과를 제공합니다. 누락된 자격 증명, 빈 검색 결과, 작업을 부분적으로 완료한 후 시간 초과되는 도구를 테스트합니다. 유용한 핸드오프는 관련 없는 고객 정보를 노출하지 않고 무슨 일이 일어났는지, 무엇이 불확실한지 그 사람에게 알려줍니다. 자율성을 확대하기 전에 중복 작업이 방지되는지, 필요한 정보가 부족하면 시스템이 중지될 수 있는지 확인하세요. 이러한 검사는 언어 모델 자체가 제대로 작동하는 경우에도 적용됩니다.

일반적인 질문