본문으로 건너뛰기
QA-Lab
고급20

환각 탐지하기: AI가 그럴듯하게 지어낸 거짓을 찾아내는 법

AI는 모르는 것도 확신에 찬 어조로 지어낸다. 이 환각을 어떻게 정의하고, 어떤 방법으로 체계적으로 탐지할 수 있는지 익힌다.

  • #환각
  • #Hallucination
  • #AI검증

개념

환각(Hallucination)이란

AI가 사실이 아닌 내용을, 마치 사실인 것처럼 자신 있게 생성하는 현상이다. 모듈 18a(레슨 1)에서 "그럴듯한 것과 정확한 것은 다르다"고 배웠던 그 문제가, 여기서는 테스트 케이스 생성을 넘어 모든 LLM 출력에 적용되는 근본적인 리스크로 확장된다.

> "이 회사의 환불 정책이 뭐야?"라는 질문에, AI가 실제로는
> 존재하지 않는 "30일 무조건 환불 정책"을 마치 진짜 있는 것처럼
> 자세하고 설득력 있게 답변한다.

무서운 점은 환각이 불확실한 어조가 아니라 확신에 찬 어조로 나온다는 것이다 — "아마도 그럴 것 같은데요"가 아니라 "네, 30일 이내 무조건 환불 가능합니다"처럼 단정적으로 말한다.

환각이 생기는 이유(개념적으로)

LLM은 사실을 "조회"하는 것이 아니라, 학습한 패턴을 바탕으로 가장 그럴듯한 다음 단어를 예측하는 방식으로 작동한다. 질문에 대한 진짜 답을 모를 때도, "그럴듯한 형태의 답"을 만들어내는 걸 멈추지 않는다 — 이건 결함이라기보다 이 기술의 근본적인 작동 방식에서 비롯된 특성이다.

환각을 탐지하는 방법

1. 사실 확인이 가능한 질문으로 테스트하기

우리가 답을 이미 알고 있는 질문(정답이 명확한 사내 정책, 제품 사양)을 던져보고, AI의 답변이 실제와 일치하는지 확인한다.

질문: "우리 제품의 배터리 용량이 얼마야?"
확인: 실제 사양 문서와 AI 답변을 대조

2. 근거를 요구하기

"그렇게 말한 근거가 뭐야?"라고 되물었을 때, AI가 실제 문서나 출처를 정확히 인용하는지, 아니면 얼버무리거나 존재하지 않는 출처를 지어내는지 확인한다.

> AI가 "2024년 3월 공지사항에 따르면..."이라고 답했는데, 실제로
> 그런 공지사항이 존재하지 않는다면 — 출처까지 지어낸 환각이다.

3. 같은 질문을 여러 번 반복하기

레슨 1에서 배운 비결정성을 역이용하는 방법이다. 같은 질문을 여러 번 물었을 때, 매번 답이 크게 달라진다면(예: 배터리 용량을 물을 때마다 다른 숫자가 나온다면) AI가 실제로 아는 사실을 말하는 게 아니라 그때그때 지어내고 있다는 신호다.

4. 존재하지 않는 것을 물어보기

일부러 존재하지 않는 제품·정책·기능에 대해 물어보고, AI가 "그런 건 없습니다"라고 정직하게 답하는지, 아니면 그럴듯하게 지어내는지 확인한다.

질문: "우리 서비스의 '플래티넘 프라임' 멤버십 혜택이 뭐야?"
     (실제로 존재하지 않는 등급이라고 가정)
좋은 답변: "그런 멤버십 등급은 확인되지 않습니다"
환각: 플래티넘 프라임의 구체적인 혜택을 그럴듯하게 나열함

환각을 줄이는 설계(테스트가 아니라 참고로)

QA가 직접 이 문제를 다 해결할 순 없지만, 레슨 3에서 다룰 RAG처럼 AI가 실제 문서를 근거로 답하게 만드는 구조가 환각을 줄이는 대표적인 접근이라는 것 정도는 알아두면 좋다 — 이건 다음 레슨으로 자연스럽게 이어진다.

실무에서 왜 필요한가

고객 응대 챗봇이 존재하지 않는 환불 정책을 확신에 찬 어조로 안내한다면, 이는 단순한 버그가 아니라 실제 고객 분쟁과 법적 리스크로 이어질 수 있다. 환각 탐지 방법을 체계적으로 아는 QA는, AI 기능을 배포하기 전에 "이 AI가 모르는 걸 아는 척하지는 않는지"를 구체적인 테스트로 확인할 수 있다.

실습 과제

과제 1 — 환각 테스트 시나리오 설계하기 (10분)

가상의 AI 고객지원 챗봇에 대해, 이 레슨에서 배운 네 가지 탐지 방법 중 두 가지를 골라 구체적인 테스트 질문을 각각 만든다.

과제 2 — 환각 사례 판정하기 (10분)

AI에게 "이 정책 문서 몇 페이지에 나온 내용이야?"라고 물었더니 "3페이지입니다"라고 답했는데, 실제 문서는 2페이지짜리였다고 하자. 이게 왜 환각의 신호인지, 그리고 이걸 어떻게 검증했는지 설명한다.

자가 체크리스트

  • 환각이 무엇이고 왜 확신에 찬 어조로 나타나는지 설명할 수 있다
  • 환각이 생기는 이유를 LLM의 작동 방식과 연결해 설명할 수 있다
  • 환각을 탐지하는 네 가지 방법을 설명할 수 있다
  • 존재하지 않는 것을 일부러 물어보는 테스트의 목적을 설명할 수 있다

흔한 실수

  • AI가 자신 있게 말하면 사실일 거라고 판단한다. 환각은 오히려 자신감 있는 어조로 나타나는 경우가 많다.
  • 한 번의 질문으로 환각 여부를 판단한다. 같은 질문을 여러 번 반복하는 것이 훨씬 신뢰할 수 있는 신호를 준다.
  • 존재하지 않는 것을 물어보는 테스트를 생략한다. "모른다고 정직하게 답하는가"를 확인하는 가장 직접적인 방법이다.

참고 자료

  • Anthropic — Reducing Hallucinations — 환각 현상과 완화 방법에 대한 공식 자료
  • ISTQB — AI 확장 신디랩 자료 — 환각 탐지의 공식 용어와 개념