AI 시스템 검증

학습 목표

이 모듈 한 줄 요약 — "같은 입력에 같은 답이 안 나오는 것을 시험하는 법". 지금까지 시험은 "이 입력에 이 답" 을 비교하는 일이었다. 인공지능 기능은 같은 질문에 매번 다르게 답한다. 정답 하나와 비교하는 방식이 통하지 않으므로, 무엇을 기준으로 합격이라 할지부터 새로 정해야 한다.

이 모듈을 마치면 LLM(대형 언어 모델)을 활용한 애플리케이션을 전통적인 소프트웨어와 다른 방식으로 평가해야 하는 이유를 이해한다. 환각(Hallucination)을 탐지하고, RAG(검색 증강 생성) 시스템의 검색· 생성 단계를 각각 검증할 수 있다. 편향·공정성을 테스트하는 관점을 갖추고, 비결정적인 AI 출력을 통계적으로 검증하는 법을 익히며, AI 관련 규제와 표준의 큰 흐름을 이해한다. 마지막 두 레슨에서는 시선을 모델 출력에서 학습데이터 로 옮겨, 데이터 품질을 재는 국제표준과 국내 DQ인증 제도를 이해하고, 전수 검수가 불가능한 규모의 데이터를 정량·정성 검증이 결합된 자동화 파이프라인으로 걸러내는 설계를 익힌다. 끝으로 AI를 쓰는 행위 자체가 만드는 리스크(데이터 프라이버시·프롬프트 인젝션·환경 비용)와, 개인 도구를 팀 인프라로 옮기는 방법(RAG·에이전트· 파인튜닝 선택, LLMOps, 도입 로드맵과 역할 변화)을 다룬다. 마지막으로 LLM 이전의 머신러닝 시스템 — 분류·회귀·추천 모델 — 을 테스트하는 법을 익힌다. 혼동 행렬과 정밀도·재현율, 과적합과 데이터 누출, 메타모픽 테스팅까지 AI 테스팅 자격 체계(CT-AI)의 핵심을 다룬다.

완료 후 할 수 있는 것

• LLM 애플리케이션 평가가 전통적인 기능 테스트와 다른 이유를 설명할 수 있다
• 환각을 탐지하기 위한 검증 방법을 설계할 수 있다
• RAG 시스템의 검색 단계와 생성 단계를 나눠 각각 검증할 수 있다
• 편향·공정성 테스트의 관점과 기본적인 점검 방법을 설명할 수 있다
• 비결정적 출력을 단일 케이스가 아니라 통계적으로 검증하는 방법을 설명할 수 있다
• AI 관련 주요 규제·표준의 흐름과 QA에게 미치는 영향을 설명할 수 있다
• 데이터 품질을 구조·내용·관리 체계 세 층으로 나누고, ISO/IEC 25024·5259-2·ISO 8000 계열과 DQ인증 심사 유형을 연결할 수 있다
• 학습데이터 품질 검증을 4단계 게이트(정합성·유효성·정성·리포팅)로 설계하고, 정량과 정성에 서로 다른 통과 기준을 적용할 수 있다
• 프롬프트에 넣는 데이터의 프라이버시·보안 리스크를 판단하고, 직접·간접 프롬프트 인젝션과 완화 전략을 설명할 수 있다
• 프롬프트·RAG·파인튜닝을 상황에 따라 고르고, LLMOps와 도입 로드맵으로 개인 활용을 팀 역량으로 바꿀 수 있다
• 혼동 행렬로 정밀도·재현율·F1을 계산하고, 도메인에서 더 비싼 실수가 무엇인지 근거로 지표를 고를 수 있다
• 과적합·데이터 누출을 진단하고, 메타모픽·백투백 테스팅으로 정답 없이 ML 모델의 결함을 잡을 수 있다

채용시장에서의 위치

AI 기능을 자체 서비스에 탑재하는 회사가 빠르게 늘면서, "AI 기능을 어떻게 QA하는가"는 이제 소수의 특수 직무가 아니라 점점 더 많은 QA 포지션에서 요구되는 역량이 되고 있다. 이 모듈은 전통적인 QA가 가장 낯설어하는 지점 — "같은 입력에도 매번 다른 출력이 나오는 소프트웨어를 어떻게 테스트하는가" 를 정면으로 다룬다. 모듈 9(개발 지식)와 모듈 16(비기능 테스트)에서 쌓은 기초가 없으면 이 모듈의 상당 부분이 추상적으로만 느껴질 것이다 — 이 모듈은 그 기초 위에 세워진, 이 커리큘럼에서 가장 최신의 응용 영역이다.

특히 학습데이터 품질 은 AI 조직에서 QA의 자리를 넓히는 지점이다. 모델 평가만 할 줄 알면 "점수가 낮다"까지밖에 말할 수 없지만, 데이터 검증 파이프라인을 다룰 줄 알면 원인의 상류를 짚고 개선의 근거를 제시할 수 있다. 공공 데이터·AI 학습데이터 구축 사업에서는 DQ인증 대응 경험 자체가 요건으로 등장하기도 한다.

마지막 두 레슨은 "AI를 쓰는 조직"에서 QA가 맡을 자리 를 다룬다. LLMOps의 항목들 — 평가셋 관리, 회귀 감지, 게이트 기준 — 은 전부 QA가 하던 일의 대상만 바뀐 것이다. "AI를 써봤다"에서 한 단계 나아간 "팀의 AI 활용 체계를 만들어봤다" 는 아직 드물고, 리드·매니저 트랙의 이야깃거리가 된다.

그리고 AI는 LLM만이 아니다. 이상 거래 탐지, 수요 예측, 추천처럼 지표로 평가되는 머신러닝 기능 이 훨씬 오래전부터 서비스에 들어 있었다. 마지막 레슨이 그 영역을 다룬다 — "F1이 0.87 나왔습니다"라는 보고에 고개만 끄덕이는 QA와, "양성 클래스 비율이 얼마입니까" 를 되묻는 QA는 팀에서 다른 위치에 선다.