모든 것을 수집하지 않고 LLM 생산 드리프트를 모니터링합니다.

연구 및 문서에서 다루는 내용

2026년 8월 사전 인쇄본인 ProxyDrift는 구조화된 상호 작용 요약을 사용하여 테스트 세트와 실시간 트래픽을 비교하는 방법을 연구합니다. 이러한 요약은 원시 상호 작용에 직접 액세스하기 위한 것입니다. LangSmith의 문서에서는 실시간 실행 점수를 매기고 오프라인 테스트 세트에 예제를 추가하는 방법을 설명합니다. 이들은 서로 다른 접근 방식입니다. 모니터링 설정이 개인 정보를 보호하거나 모든 종류의 사용자 요청을 처리한다는 것을 증명하지도 않습니다.

증거: 프록시 표현을 통한 대규모 LLM 애플리케이션의 개인 정보 보호 데이터 드리프트 감지 및 복구 [1]LangSmith 평가 [2]

세 가지 변화를 지켜보세요

입력 드리프트는 요청이 변경되었음을 의미합니다. 사용자는 다양한 작업을 요청하거나, 새로운 언어를 사용하거나, 더 긴 문서를 보낼 수 있습니다. 결과 드리프트는 오류가 많아지거나 답변이 느려지는 등 결과가 변경되었음을 의미합니다. 측정 드리프트는 채점 프로세스가 변경되었음을 의미합니다. 새로운 심판, 채점 가이드 또는 샘플링 규칙에 따라 숫자가 바뀔 수 있습니다. 이러한 변경 사항을 별도로 기록하십시오.

실패율이 높을수록 들어오는 작업이 더 어려워질 수 있습니다. 이는 항상 모델이 약하다는 것을 의미하지는 않습니다. 더 쉬운 요청이 더 어려운 요청과 균형을 이루는 경우 변하지 않은 평균은 문제를 숨길 수도 있습니다. 언어, 작업 유형 등 제품에 중요한 그룹을 비교하세요. 각 점수 뒤에 있는 예시의 수를 표시합니다.

집중적인 모니터링 기록을 유지하세요

Rubrex는 각 경고가 지원해야 하는 결정부터 시작할 것을 권장합니다. 도구 시간 초과를 조사하려면 도구 이름, 시간, 오류 유형 및 소프트웨어 버전이 필요할 수 있습니다. 전체 사용자 메시지가 필요하지 않을 수도 있습니다. 답변이 사실인지 확인하려면 원본 문서가 필요할 수 있습니다. 해당 데이터에 액세스할 수 있는 사람과 데이터를 삭제해야 하는 경우에 동의하세요.

임베딩과 같은 라벨 및 숫자 기반 표현에는 여전히 민감한 정보가 포함될 수 있습니다. 개인 정보가 공개되는지 또는 개인과 연결될 수 있는지 확인하세요. 실제 사용자 데이터를 공개 사례에서 제외하세요. 실패를 설명할 때 가상의 예를 사용하거나 민감한 세부정보를 삭제하세요. 변환된 데이터는 공유해도 자동으로 안전하지 않습니다.

예: 스캔한 문서로 인해 새로운 오류가 발생함

새로운 통합이 시작된 후 구매 도우미가 스캔한 문서를 받기 시작한다고 가정합니다. 모델은 변경되지 않았지만 이제 시스템은 텍스트를 추출하는 데 어려움을 겪고 있습니다. 이전 테스트 세트는 깨끗한 디지털 텍스트를 사용합니다. 실제 사용자가 더 많은 실패를 보더라도 여전히 통과합니다.

먼저 검토가 허용된 예제를 사용하여 추출이 실패한 위치를 확인합니다. 참조 텍스트를 확인하여 스캔한 문서를 별도의 테스트 그룹에 추가합니다. 그런 다음 추출 단계와 최종 답변을 테스트합니다. 신속한 변경으로 누락된 소스 텍스트가 수정되지 않을 수 있습니다. 새로운 테스트를 경고 신호로 활용하기 전에 실제 문제를 포착하는지 확인하세요.

모든 경고에 다음 단계를 제공합니다.

각 경고의 소유자를 지정하십시오. 임계값이 중요한 이유와 소유자가 먼저 확인해야 할 사항을 설명하세요. 허위 경보와 경보가 놓친 사건을 검토합니다. 실제 실패가 테스트 사례가 되면 실패가 어디서 왔는지, 어떤 일이 발생해야 하는지, 어떤 테스트 세트 버전에 포함되어 있는지 기록하세요. 이전 결과와 새 결과를 비교할 때 트래픽 및 점수 규칙의 변경 사항을 확인하세요.

• 애플리케이션, 테스트 세트, 심사, 샘플링 버전을 기록합니다.
• 각 작업그룹 내 품질과 전체 품질을 비교합니다.
• 경고를 트리거하는 사례와 함께 광범위한 샘플을 검토합니다.
• 원시 데이터 및 파생 라벨에 대한 액세스 및 삭제 규칙을 확인하세요.

사건발생시 대시보드를 유용하게 만들어주세요

모니터링은 선택한 신호가 시간에 따라 어떻게 변하는지 보여줍니다. 관찰 가능성은 요청, 시스템 설정 또는 종속성에 대한 신호를 추적하는 데 도움이 됩니다. 평가는 결과가 사용자의 요구 사항을 충족했는지 확인합니다. Rubrex는 이러한 기록을 실행 ID와 연결할 것을 권장합니다. 제품과 합의된 데이터 규칙에 따라 조사에 필요한 데이터만 보관하십시오.

하나의 알림을 처음부터 끝까지 따라가 보세요. 팀에서 영향을 받은 사례와 소프트웨어 버전을 찾을 수 있나요? 누군가 실패를 다른 엔지니어가 다시 실행할 수 있는 테스트로 바꿀 수 있습니까? 각 추세 옆에 샘플 수, 누락된 결과, 심각한 실패 및 점수 정의를 표시합니다. 수정 후 테스트를 다시 실행하여 결과가 개선되었는지 확인하세요. 대시보드는 누군가가 다음에 수행할 작업을 결정하는 데 도움이 될 때 유용합니다.

일반적인 질문