AI · RAG
사내 문서를 근거로 답하는 RAG 챗봇, 카톡·문자로 온 주문을 알아서 뽑아 넣는 일. 시연용이 아니라 실서비스로 만듭니다.
여기가 어렵습니다
—엉뚱한 답(환각)을 막으려면 검색 품질이 먼저입니다 — 모델 교체로는 해결되지 않습니다.
—AI 서비스가 죽었을 때 본 서비스가 같이 멈추지 않게 하는 폴백 설계.
—토큰 비용 — 운영 규모에서 월 얼마가 나올지 사전 계산.
그래서 이렇게 만듭니다
이런 상태라면
같은 문의가 반복되는데 사람이 매번 답합니다.
챗봇을 붙였는데 엉뚱한 답을 해서 못 쓰고 있습니다.
주문을 카톡·문자로 받아 사람이 다시 입력합니다.
AI를 도입하고 싶은데 비용이 얼마나 드는지 모르겠습니다.
예상 일정 규모에 따라