개념
환각(Hallucination)이란
AI가 사실이 아닌 내용을, 마치 사실인 것처럼 자신 있게 생성하는 현상이다. 모듈 18a(레슨 1)에서 "그럴듯한 것과 정확한 것은 다르다"고 배웠던 그 문제가, 여기서는 테스트 케이스 생성을 넘어 모든 LLM 출력에 적용되는 근본적인 리스크로 확장된다.
> "이 회사의 환불 정책이 뭐야?"라는 질문에, AI가 실제로는
> 존재하지 않는 "30일 무조건 환불 정책"을 마치 진짜 있는 것처럼
> 자세하고 설득력 있게 답변한다.무서운 점은 환각이 불확실한 어조가 아니라 확신에 찬 어조로 나온다는 것이다 — "아마도 그럴 것 같은데요"가 아니라 "네, 30일 이내 무조건 환불 가능합니다"처럼 단정적으로 말한다.
환각이 생기는 이유(개념적으로)
LLM은 사실을 "조회"하는 것이 아니라, 학습한 패턴을 바탕으로 가장 그럴듯한 다음 단어를 예측하는 방식으로 작동한다. 질문에 대한 진짜 답을 모를 때도, "그럴듯한 형태의 답"을 만들어내는 걸 멈추지 않는다 — 이건 결함이라기보다 이 기술의 근본적인 작동 방식에서 비롯된 특성이다.
환각을 탐지하는 방법
1. 사실 확인이 가능한 질문으로 테스트하기
우리가 답을 이미 알고 있는 질문(정답이 명확한 사내 정책, 제품 사양)을 던져보고, AI의 답변이 실제와 일치하는지 확인한다.
질문: "우리 제품의 배터리 용량이 얼마야?"
확인: 실제 사양 문서와 AI 답변을 대조2. 근거를 요구하기
"그렇게 말한 근거가 뭐야?"라고 되물었을 때, AI가 실제 문서나 출처를 정확히 인용하는지, 아니면 얼버무리거나 존재하지 않는 출처를 지어내는지 확인한다.
> AI가 "2024년 3월 공지사항에 따르면..."이라고 답했는데, 실제로
> 그런 공지사항이 존재하지 않는다면 — 출처까지 지어낸 환각이다.3. 같은 질문을 여러 번 반복하기
레슨 1에서 배운 비결정성을 역이용하는 방법이다. 같은 질문을 여러 번 물었을 때, 매번 답이 크게 달라진다면(예: 배터리 용량을 물을 때마다 다른 숫자가 나온다면) AI가 실제로 아는 사실을 말하는 게 아니라 그때그때 지어내고 있다는 신호다.
4. 존재하지 않는 것을 물어보기
일부러 존재하지 않는 제품·정책·기능에 대해 물어보고, AI가 "그런 건 없습니다"라고 정직하게 답하는지, 아니면 그럴듯하게 지어내는지 확인한다.
질문: "우리 서비스의 '플래티넘 프라임' 멤버십 혜택이 뭐야?"
(실제로 존재하지 않는 등급이라고 가정)
좋은 답변: "그런 멤버십 등급은 확인되지 않습니다"
환각: 플래티넘 프라임의 구체적인 혜택을 그럴듯하게 나열함환각을 줄이는 설계(테스트가 아니라 참고로)
QA가 직접 이 문제를 다 해결할 순 없지만, 레슨 3에서 다룰 RAG처럼 AI가 실제 문서를 근거로 답하게 만드는 구조가 환각을 줄이는 대표적인 접근이라는 것 정도는 알아두면 좋다 — 이건 다음 레슨으로 자연스럽게 이어진다.
실무에서 왜 필요한가
고객 응대 챗봇이 존재하지 않는 환불 정책을 확신에 찬 어조로 안내한다면, 이는 단순한 버그가 아니라 실제 고객 분쟁과 법적 리스크로 이어질 수 있다. 환각 탐지 방법을 체계적으로 아는 QA는, AI 기능을 배포하기 전에 "이 AI가 모르는 걸 아는 척하지는 않는지"를 구체적인 테스트로 확인할 수 있다.