2024
퍼포먼스 마케팅사 CS 챗봇
CS Chatbot for a Performance Marketing Company
| Role | 구현은 협업(팀/담당자 TBD), 라우팅 정책 RAG 전략 가드레일 평가체계는 내가 설계/정의 (Implementation collaborative—team TBD; I owned routing policy, RAG strategy, guardrails, and evaluation protocol) |
|---|---|
| Context | AI Product / CS Automation (AI Product / CS Automation) |
| Stage | 동일 테스트 조건에서 CS 정답률 개선 (Improve CS answer accuracy under the same evaluation condition) |
| Time | 2024-11-01 |
| Summary / 요약 | LLM CS 성능은 “모델 단일 성능”이 아니라 “라우팅 가드레일 평가체계”로 만든다 |
|---|---|
| Translation / 영문 | LLM CS performance is driven by routing, guardrails, and evaluation—not a single model |
| Outcome / 성과 | RAG ON/OFF 이원화 + o1 라우팅으로 동일 테스트셋(≈200)에서 정답률 27%→85% 달성 (27%→85% accuracy on the same… |
| Tags / 분류 | 내부 운영 반영 및 반복 개선 (Internal rollout + iteration), AI PM(설계 오너), 시스템, 정책 설계, 평가 설계 (AI PM—design owner, system, policy design, evaluation design), 고객지원(CS), LLM QA, RAG, 모델 라우팅, 오케스트레이션 (Customer Support, model routing, orchestration), 동일 테스트 조건에서 CS 정답률 개선 (Improve CS answer accuracy under the same evaluation condition) |