01문제
생성된 스코어카드에는 자체 점검이 필요합니다.
Rubrex의 내부 생성기는 잠재 고객 상황을 평가 기준으로 전환합니다. 세련된 스코어카드는 그 기준이 제품을 반영하고, 다양한 종류의 실패를 구별하고, 검토자에게 일관성 있게 점수를 매기는 방법을 알려줄 경우에만 유용합니다.
우리는 생성된 기준표를 평가에 사용하기 전에 문제가 발생한 부분을 찾고 싶었습니다. 실질적인 질문은 다음과 같습니다. 검토자가 이 스코어카드를 적용하고 결과 판단을 설명할 수 있습니까?
02방법
응답뿐만 아니라 기준표도 검토하세요.
우리는 6개의 대표적인 잠재 고객 프로필에 대해 생성기를 실행했습니다. 12개 부분으로 구성된 메타루브릭은 공통 검토 프레임워크를 제공했으며 세 가지 비평가 렌즈는 생성된 스코어카드를 다양한 관점에서 검토했습니다. 이는 즉각적인 변화로 바뀔 만큼 비판을 구체적으로 만들었다.
구조적 검증과 의미론적 검토를 분리했습니다. 결정론적 검사는 스키마, 가중치 및 점수 앵커 구조를 다룹니다. 인적 검토에서는 기준이 실제로 제품에 적합한지, 기준이 품질에 의미 있는 차이를 전달하는지 여부를 묻습니다. 출시 전에 둘 다 필요합니다.
03조사결과 및 변경사항
오류는 고칠 수 있을 만큼 구체적이었습니다.
검토 결과 잘 구성된 응답만으로는 드러나지 않는 네 가지 반복되는 문제가 드러났습니다.
- 일반 템플릿. 일부 루브릭은 회사 이름 교환에 해당하며 제품의 실제 사용 사례와 연결이 너무 적습니다.
- 기준이 중복됩니다. 별도의 차원에서 동일한 문제가 두 번 계산되어 최종 판단이 왜곡될 수 있습니다.
- 모호한 득점 앵커. 설명은 다른 점수보다 하나의 점수를 선택하는 명확한 근거 없이 리뷰어를 떠났습니다.
- 상품 상세정보를 발명했습니다. 사용 가능한 증거가 희박할 때 생성기는 뒷받침되지 않는 가정으로 공백을 채울 수 있습니다.
이러한 발견으로 인해 7가지 즉각적인 수정이 이루어졌습니다. 그들은 개정 작업에 명확한 목표를 부여했습니다. 즉, 제공된 컨텍스트를 사용하고, 기준을 분리하고, 채점 결정을 명시적으로 만들고, 누락된 정보를 만들어내는 대신 노출합니다.
현재 출시 확인
결정론적 검증이 진행 중입니다. 인간 릴리스 게이트가 출력의 의미와 적합성을 확인합니다. 의미론적 LLM 심사위원이 계획되어 있으며, 인간의 검토가 릴리스 결정으로 유지됩니다.
04이것이 보여주는 것
비판을 테스트 가능한 다음 변화로 바꾸십시오.
대표적인 입력으로 시작하여 좋은 결과가 필요한 것을 정의하고 각 비판을 특정 실패에 첨부하십시오. 이를 통해 팀은 또 다른 주관적인 프롬프트 조정 대신 테스트할 구체적인 변경 사항을 얻을 수 있습니다.
이것은 우리가 신뢰성 스프린트에서 범위를 정하는 작업 종류입니다: 평가 세트, 기준, 실패 분석 및 목표 실험. 이 내부 연구에서는 그 방법을 보여줍니다. 측정된 정확도 향상이나 외부 클라이언트에 대한 결과를 설정하지 않습니다.
신뢰성 스프린트 탐색