AI 제품의 인간 핸드오프: 라스트 마일 설계 및 측정

받는 사람을 위한 디자인

성적표 덤프가 완전한 핸드오프인 경우는 거의 없습니다. 검토자는 사용자가 원하는 것이 무엇인지, 어떤 사실이 확인되었는지, 어떤 조치가 이미 시스템을 변경했는지 여부를 알아야 합니다. 우리는 승인된 증거에 대한 링크와 명확하게 표시된 해결되지 않은 질문이 포함된 간단한 핸드오프 기록을 만드는 것을 권장합니다. 보조자의 가설과 관찰 내용을 분리합니다. 작업이 부분적으로 성공했을 수 있는 경우 검토자가 맹목적으로 반복하지 않도록 불확실성을 명시합니다.

에스컬레이션 경계 정의

일반적인 트리거에는 승인 누락, 소스 자료 충돌, 반복되는 도구 오류 또는 지원 범위를 벗어난 요청이 포함됩니다. 각 범주에 소유자를 할당하고 해당 소유자를 사용할 수 없을 때 발생하는 작업을 정의합니다. NIST의 자발적 위험 프레임워크는 AI 위험 관리를 위한 광범위한 컨텍스트를 제공하지만 여기서는 구체적인 핸드오프 설계를 규정하지 않습니다. 현실적인 사례로 경계를 테스트하고 사용자의 목표가 완료된 척하지 않고 시스템이 일시 중지될 수 있는지 확인합니다.

증거: NIST AI 위험 관리 프레임워크 [1]

결정의 양면을 측정

사람의 개입이 필요한지 여부를 검토한 샘플에 라벨을 붙입니다. 그런 다음 누락된 에스컬레이션과 불필요한 에스컬레이션을 구별하세요. 지원되지 않는 답변을 숨기면서 낮은 에스컬레이션 비율이 효율적으로 보일 수 있습니다. 과도한 에스컬레이션 비율은 워크로드를 줄이기보다는 이동시킬 수 있습니다. 이 표는 결과 품질과 짝을 이루는 운영 조치를 제안합니다. 사용자가 기다리는 동안 떠나는 경우를 포함하고 검토자가 동일한 질문을 다시 하지 않고도 계속할 수 있을 만큼 충분한 정보를 받았는지 기록합니다.

사용자 경험을 솔직하게 만드세요

사용자에게 무슨 일이 일어나고 있는지, 전달과 함께 제공되는 정보를 알려줍니다. 실제 대기열이나 할당이 존재하지 않는 한 전문가가 케이스를 검토하고 있다고 말하지 마세요. 애플리케이션의 보존 정책에 따라 사용자가 다시 시작하지 않고 돌아갈 수 있도록 하는 참조를 유지합니다. 해결 후 실패 범주를 사용하여 워크플로 및 평가 세트를 개선합니다. 고의적인 이유나 공유할 수 있는 권한이 없는 한 사용자가 볼 수 있는 요약에서 검토자 메모를 기밀로 유지하세요.

일반적인 질문