AI 시대의 QA

AI 활용 테스트

프롬프트 기반 테스트 케이스 생성, AI 결함 분류, 셀프힐링 로케이터, MCP, Agentic Testing 설계, Claude Code·Playwright MCP 실습, Claude Skills 표준화, 레거시 자동화의 AI-First 전환과 CUA. 그리고 토큰·6요소 프롬프트 구조·체이닝·퓨샷·메타 프롬프팅을 테스트 분석부터 모니터링까지 적용하고 결과를 지표로 평가한다. 끝으로 AI 가속이 테스트를 병목으로 만든 구조를 리드타임 분해와 암달의 법칙으로 측정하고, 제품화된 자율 실행·자율 탐색을 결과 일치율·사양 질문·회귀 자산화까지 갖춘 운영 절차로 만든다. 마지막으로 Playwright 셀프힐링을 TypeScript로 구현하고 치유 결과를 Healed 상태·시간/토큰 예산·결함 구분 규칙으로 운영한다.

★ 최신 채용 요구사항. 2025년 이후 QA 공고에서 빠르게 확산 중이다.

AI 시스템 검증

LLM 애플리케이션 평가, 환각 탐지, RAG 검증, 편향·공정성, 비결정적 출력의 통계적 검증, AI 규제와 표준. 학습데이터 품질(국제표준·DQ인증·검증 파이프라인). AI를 쓰는 행위가 만드는 리스크와 LLM 인프라·LLMOps·조직 도입. 그리고 혼동 행렬·정밀도·재현율부터 메타모픽 테스팅까지, LLM 이전의 머신러닝 시스템을 테스트하는 법.

AI 교차검증

AI 산출물 교차검증 — 환각 API·가짜 테스트·커버리지 갭을 찾아내고 검증 기준을 세운다. 그리고 검토할 산출물이 수백 건이 될 때 검증을 사람에서 구조로 옮기는 에이전트 하네스와 품질 게이트 설계까지. 나아가 사람·로봇·에이전트가 결과를 넘겨주는 파이프라인 전체를 노드 계약·결정 테이블·승인 게이트·정책 코드·감사 로그로 설계하는 테스트 오케스트레이션까지.

★ 이 커리큘럼의 차별점. AI 산출물을 사람이 검증하는 훈련.

AI 시스템 품질·신뢰성 평가 — ISO/IEC 25059·TS 25058·TS 4213·TR 24027·TR 24028

AI 품질 표준은 무엇을 볼지 알려 주지만 합격선을 정해 주지 않는다. ISO/IEC 25059가 SQuaRE 모델에 더한 부특성(기능 적응성·기능 정확성·사용자 통제성·투명성·강건성·개입 가능성·사회·윤리적 위험 완화)을 검증 질문으로, TS 25058을 25040 평가 프로세스 위의 평가 계획과 판정 기준 합의서로, TS 4213을 통제 기준·유의성 검정·보고 형식으로, TR 24027을 편향 출처 분류와 공정성 지표 합의로, TR 24028을 위협-대책-시험 추적표로 옮기고, NIA AI 학습용 데이터 품질관리 가이드라인(v3.1·v3.5)과 빅데이터 플랫폼 품질관리 가이드를 판을 고정한 시험 항목표로 만든다.

★ AI 품질 표준은 무엇을 볼지 알려 주지만 합격선을 정해 주지 않는다 — 판정 기준을 누가 어떤 근거로 합의했는가가 결과의 신뢰를 만든다.

AI 검증 파이프라인 운영 — 검증 기준·에이전트 스킬·배포 게이트·판정 기록

AI의 판정은 기준보다 정확할 수 없다. 요구사항·화면·API에서 대상·조건·관찰·판정·근거 다섯 칸의 검증 기준과 인용을 요구하는 루브릭을 쓰고, 기준을 Agent Skills(SKILL.md)와 AGENTS.md로 개발자 에이전트에 배포해 코드 작성 시점부터 적용한다. 골드 세트·Cohen의 카파·FAIL 재현율로 LLM 판정자를 보정하고 편향·드리프트를 통제하며, 같은 기준을 PR·주기 회귀·릴리스 전 세 층에 배치해 판정 레코드로 남긴다. 그 레코드로 주간 배포 게이트의 차단 규칙·게이트 요약·예외 승인·결정 기록을 운영하고, 플래키 비율·기준 커버리지·결함 발견 위치·판정자 오판률·DORA 지표로 개선하며, 온보딩 단계와 성숙도 모델로 아직 붙지 않은 서비스까지 넓힌다.

★ AI의 판정은 기준보다 정확할 수 없고, 기록되지 않은 판정은 판정이 아니다.

AI 테스팅 심화 — CT-AI 매핑·ML 파이프라인·적대적 테스트·XAI·EU AI Act·에이전트 평가

AI 시스템 검증을 자격과 규제 수준까지 끌어올린다. ISTQB CT-AI 실러버스와 이 커리큘럼의 대조표, 데이터 드리프트 감지와 재학습 루프를 포함한 ML 파이프라인 테스트, 모델을 의도적으로 속이는 적대적 테스트 설계, 설명가능성(XAI) 검증, EU AI Act·ISO/IEC 42001 대응 체크리스트, 에이전트 벤치마크·트레이스 기반 AI 에이전트 품질 평가를 다룬다.

★ AI 검증은 한 번의 정확도가 아니라 변하는 데이터와 규제 속에서 유지되는 신뢰다.

AI 네이티브 QA — test basis 현행화부터 셀프힐링·재배포까지

AI가 기획·개발·테스트·셀프힐링·재배포까지 도는 조직에서 QA 플랫폼을 설계한다. 폐루프 단계마다 AI의 일과 사람의 판정을 가르고 재배포 게이트·롤백·감사 기록을 세운다. 레거시 코드·DB·화면·로그에서 기획 문서를 근거와 함께 복원하고, 낡은 요구사항명세서·화면설계서를 구현과 대조해 현행화하며, 한국어 형태소 분석으로 약한 표현·용어 불일치(버그·defect·결함)를 걸러 테스트 조건을 뽑는다. 점검한 test basis로 설계 에이전트를 평가셋과 단계별 자율성으로 고도화하고, 실연동·샌드박스·서비스 가상화·계약 테스트로 외부 시스템까지 자동화 범위를 넓힌다. 근거를 인용하는 실패 분석 에이전트, 보안·부하·성능·데이터 품질로의 확장, 모드별 아웃풋 차이 분석과 AI 시대 QA 조직·인재 설계까지 다룬다.

★ AI가 내놓은 결과는 그 근거보다 정확할 수 없다 — QA는 test basis와 판정을 쥔다.