Llm-as-Judge on 노준탁 — AI 노트 https://ai.klavierhye.cc/ko/tags/llm-as-judge/ Recent content in Llm-as-Judge on 노준탁 — AI 노트 Hugo -- 0.147.7 ko Tue, 01 Sep 2026 00:00:00 +0000 평가 지표가 아키텍처를 골랐다: 정답지 기반 QA가 Guardrail에 점수를 몰아준 방식 https://ai.klavierhye.cc/ko/posts/llm-eval-metric-chose-architecture/ Tue, 01 Sep 2026 00:00:00 +0000 https://ai.klavierhye.cc/ko/posts/llm-eval-metric-chose-architecture/ <p><em>이 글은 한국어 전화 Voice Agent 현장 노트 7부작 중 <strong>6부</strong>다. 내가 리드했던 프로젝트 — 공공 서비스 전화 상담용 실시간 한국어 voice agent(STT → LLM → TTS) — 를 만들면서 겪은 일을 정리한다. STT 평가 → Rule vs 모델 → Latency → 조용한 실패 → Guardrail → <strong>평가 지표</strong> → 단순화. <a href="https://ai.klavierhye.cc/ko/posts/how-guardrails-pile-up/">5부</a>에서는 실패한 QA row 하나마다 dialog layer에 규칙이 하나씩 쌓인 과정을 다뤘다. 이번 글은 그 규칙들에 계속 점수를 몰아준 평가 이야기다.</em></p>