전체 대화에 걸쳐 다단계 조수를 평가합니다.

최근 연구는 상호 작용 품질에 중점을 둡니다.

2026년 5월 사전 인쇄에서는 인간-AI ​​상호 작용의 투명성, 일관성 및 개선을 중심으로 한 프레임워크를 제안합니다. 2026년 8월 설문 조사에서는 지속적인 과제로서 영구 메모리 및 교차 회전 접지에 대해 논의합니다. 이러한 소스는 단일 응답을 넘어 평가 범위를 넓히지만 모든 대화 제품에 대해 하나의 표준 점수를 설정하지는 않습니다.

증거: 다회전 인간-AI 상호작용 평가 [1]텍스트에서 멀티모달 상호작용까지 다단계 대화형 AI: 데이터, 모델, 평가 및 공개 챌린지 [2]

대화 상태를 명시적으로 작성합니다.

각 의미 있는 회전 이후 사용자의 목표, 활성 제약 조건, 해결되지 않은 질문 및 허용된 작업을 나타냅니다. 사용자가 요구 사항을 변경할 때 이전 조건이 대체되고 유효한 조건을 기록하십시오. 이를 통해 검토자는 모델의 내부 추론에 액세스하지 않고도 관찰 가능한 목표를 얻을 수 있습니다.

지속되어야 하는 메모리와 지속되어서는 안 되는 정보를 구별하세요. 보조자는 다른 고객의 세부 정보를 격리하면서 세션 내의 서식 기본 설정을 기억해야 할 수도 있습니다. 평가에는 실제 제품의 세션과 ID 경계가 반영되어야 합니다.

현실적인 대화 전환 테스트

Rubrex는 사용자가 모호한 요청을 명확히 하고, 사실적 가정을 수정하고, 원하는 형식을 변경하고, 작업을 중단하거나, 이전 목표로 돌아가는 시나리오를 권장합니다. 하나의 질문을 하는 것이 도움이 되는 경우와 반복적인 설명으로 인해 불필요한 마찰이 추가되는 경우를 포함하세요.

제어된 비교가 필요한 경우 고정된 기록을 사용하고 분기 동작이 중요한 경우 신중하게 지정된 시뮬레이터를 사용하십시오. 시뮬레이터가 보조자에게 추가 힌트를 제공하는지 또는 조기 완료를 허용하는지 검사하십시오. 시뮬레이터는 측정 시스템의 일부이며 자체적인 편향을 도입할 수 있습니다.

예시: 하나의 제약 조건이 변경되고 다른 제약 조건은 그대로 유지됩니다.

사용자가 기술 독자를 위해 200단어 미만의 요약을 요청한 다음 기술이 아닌 버전을 요청합니다. 청중은 변합니다. 길이 제약 조건은 자동으로 사라지지 않습니다. 명확하지만 500단어 길이의 최종 응답은 유지된 요구 사항을 충족하지 못합니다.

최종 아티팩트 및 전환 점수를 매깁니다. 어시스턴트가 이전에 거부된 가정을 다시 도입하지 않고 수정 사항을 적용했습니까? 사용자가 명시적으로 길이 제한을 제거하는 경우를 추가합니다. 이는 평가가 모든 이전 지침을 엄격하게 유지하는 것을 방지합니다.

결과 및 상호작용 비용 보고

작업 완료, 제약 조건 보존, 수정 이해, 지원되지 않는 가정 및 피할 수 있는 설명 전환을 추적합니다. 더 긴 대화가 필요하거나 낭비된 이유를 설명하려면 예를 사용하십시오. 더 많은 회전이 본질적으로 더 나쁜 것은 아닙니다. 잘 설명하면 잘못된 행동을 예방할 수 있습니다.

• 각 사용자 수정 후 활성 작업을 정의합니다.
• 세션 경계 및 ID 격리를 검토합니다.
• 후보자 전체에 걸쳐 시뮬레이션된 사용자 정책을 일관되게 유지합니다.
• 반복되는 질문과 유용한 설명을 구별하십시오.

일반적인 질문