AI 테스팅 심화 — CT-AI 매핑·ML 파이프라인·적대적 테스트·XAI·EU AI Act·에이전트 평가

학습 목표

이 모듈 한 줄 요약 — "자격 시험과 규제가 요구하는 모양으로 다시 정렬한다". 앞 모듈들에서 배운 것을 시험 범위와 법이 요구하는 문서 형태에 맞춰 다시 줄 세운다. 같은 내용이라도 어떤 이름으로 어디에 적느냐가 자격 취득과 규제 대응에서는 결과를 가른다.

모듈 18b가 AI 시스템을 검증하는 기법을, 모듈 36이 그 결과를 표준 위에서 제3자에게 설명하는 법을, 모듈 38이 검증 기준을 파이프라인과 배포 게이트로 운영하는 법을 다뤘다. 이 모듈은 그 셋을 자격 시험의 범위와 규제의 문서 요구에 맞춰 다시 정렬하고, 시간이 지나도 무너지지 않는 검증으로 바꾸는 쪽 이다. 한 번의 평가에서 좋은 숫자를 받는 것과, 데이터가 변하고 규제가 조여드는 2년 뒤에도 같은 주장을 유지하는 것은 다른 일이다.

먼저 ISTQB CT-AI 실러버스 v2.0의 일곱 장을 이 커리큘럼의 레슨과 대조해, 무엇을 이미 배웠고 무엇이 비어 있는지를 표로 만든다. 그 다음 ML 파이프라인을 수집부터 재학습까지 구간별 시험 대상으로 쪼개고, 데이터 드리프트와 컨셉 드리프트를 통계량과 성능 기반 검출기로 각각 잡아 재학습 루프 자체를 검증한다. 이어서 모델을 의도적으로 속이는 적대적 입력을 위협 모델에서 출발해 설계하고, 메타모픽 관계를 자동 판정 가능한 스위트로 올리며, LLM 프롬프트 주입을 공격 성공률로 측정하는 시험 체계를 만든다.

설명가능성은 별도의 검증 대상으로 다룬다. SHAP·LIME이 내놓은 근거가 모델의 실제 근거인지 확인하는 충실도 시험, 같은 입력에 같은 설명이 나오는지 보는 안정성 시험, 그리고 설명이 조작될 수 있다는 연구 결과를 시험 항목으로 옮긴다. 마지막 두 레슨은 EU AI Act와 ISO/IEC 42001, 국내 AI 기본법의 의무를 QA 증거 목록으로 바꾸고, AI 에이전트 자체의 과업 성공을 트레이스 기반 평가와 반복 신뢰성으로 판정한다.

이 모듈을 관통하는 문장은 하나다. AI 검증은 한 번의 정확도가 아니라 변하는 데이터와 규제 속에서 유지되는 신뢰다.

완료 후 할 수 있는 것

• ISTQB CT-AI v2.0의 장 구성·권장 학습 시간·비즈니스 성과(BO)를 이 커리큘럼의 레슨에 대조하고, 자신의 공백만 골라 학습 순서를 짤 수 있다
• ML 파이프라인을 수집·검증·피처·학습·평가·배포·모니터링·재학습 구간으로 쪼개고 구간마다 무엇이 깨지는지를 시험 항목으로 쓸 수 있다
• 데이터 드리프트·사전 확률 변화·컨셉 드리프트·상류 스키마 변경을 구분하고 PSI·KS·JS·ADWIN 중 상황에 맞는 검출기를 고를 수 있다
• 피처 수가 많을 때 드리프트 경보가 왜 오탐으로 덮이는지 설명하고 임계값·보정·관찰 기간으로 통제할 수 있다
• 재학습 트리거·챔피언 챌린저·백투백 비교·롤백 조건이 들어간 재학습 루프 검증 절차를 설계할 수 있다
• 공격자의 지식·능력·목표·제약을 적은 위협 모델에서 출발해 적대적 입력 시험을 설계하고 강건 정확도와 ε 곡선으로 보고할 수 있다
• 메타모픽 관계를 카탈로그로 관리하고 위반 판정을 자동화해 정답 레이블 없이 결함을 잡을 수 있다
• LLM 프롬프트 주입을 공격 카탈로그·변이 생성·공격 성공률(ASR)로 측정하고 통과한 공격을 회귀 세트로 승격할 수 있다
• SHAP·LIME 설명의 충실도·안정성을 삭제 곡선·랜덤화 검사·상위 k 중복도로 시험하고, 설명이 조작될 수 있다는 전제에서 근거를 요구할 수 있다
• EU AI Act의 적용 시점과 위험 등급별 의무를 조항 단위로 읽고 각 조항이 요구하는 QA 산출물을 증거 목록으로 만들 수 있다
• ISO/IEC 42001의 절 구조와 Annex A 통제 목록을 적용 선언서로 옮기고, 인증과 규제 적합성이 왜 다른 것인지 설명할 수 있다
• AI 에이전트를 과업 성공률·도구 호출 정확도·트레이스 기반 채점·pass^k로 평가하고, 공개 벤치마크 점수를 우리 과업의 판정으로 오독하지 않을 수 있다

채용시장에서의 위치

AI 품질 직무의 공고가 지난 2년 사이에 두 갈래로 갈라졌다. 하나는 모델을 평가하고 지표를 내는 AI 평가·이밸(eval) 엔지니어 이고, 다른 하나는 그 평가 결과를 규제·감사·계약의 언어로 바꾸는 AI 거버넌스·컴플라이언스 QA 다. 앞쪽은 데이터 과학자와 경쟁하지만, 뒤쪽은 경쟁자가 거의 없다. ISO/IEC 42001 인증을 준비하는 조직, EU에 제품을 파는 제조·의료기기 기업, 국내 AI 기본법의 고영향 AI에 해당하는 금융·채용·교육 서비스가 모두 같은 사람을 찾고 있고, 그 사람은 표준 문서와 시험 설계를 동시에 읽을 수 있어야 한다.

ISTQB CT-AI는 이 영역에서 가장 널리 쓰이는 공통 언어다. 자격 자체가 채용을 결정하지는 않지만, 실러버스의 용어(로크드·적응형 시스템, 테스트 오라클, 메타모픽 관계, 드리프트, ML 기능 성능 지표)를 정확히 쓰는 사람과 그렇지 않은 사람은 기술 면접 십 분 만에 갈린다. 이 모듈 레슨 1의 대조표는 자격을 따든 따지 않든 그 용어 지도를 손에 쥐게 하려는 것이다.

면접에서 힘을 갖는 답변은 "AI 모델을 테스트해 봤다"가 아니라 "모델이 배포된 뒤에 무엇이 어떻게 무너졌고, 그것을 무엇으로 먼저 알았는가" 다. 정확도는 그대로인데 입력 분포가 바뀌어 특정 코호트에서만 성능이 내려간 것을 PSI로 잡아낸 이야기, 설명 화면이 매번 다른 피처를 상위에 올리는 것을 발견해 배포를 미룬 이야기, 에이전트의 단일 성공률은 92%인데 pass^5가 60%여서 자동화 범위를 좁힌 이야기가 이 모듈의 성숙도를 보여준다. 세 이야기 모두 "한 번 재서 통과했다"가 아니라 "반복해서 재니 달랐다"는 구조를 갖고 있다.