AI 활용 테스트

학습 목표

이 모듈 한 줄 요약 — "인공지능을 도구로 쓰되, 결과를 그대로 믿지 않는다". 시험 케이스를 만들어 주고, 결함을 분류해 주고, 깨진 자동화를 고쳐 준다. 모두 쓸모 있지만 그럴듯한 거짓을 자연스럽게 내놓는다. 그래서 이 모듈의 절반은 쓰는 법이고 나머지 절반은 확인하는 법이다.

이 모듈을 마치면 AI에게 효과적으로 프롬프트를 던져 테스트 케이스를 생성하고, 그 결과를 검증 없이 신뢰하면 안 되는 이유를 이해한다. AI로 결함을 분류하고 중복을 탐지하며, 셀프힐링 로케이터가 왜 자동화 유지보수 비용을 줄여주는지 안다. MCP로 AI 에이전트가 실제 도구(브라우저, API)를 조작하게 만드는 원리를 이해하고, Agentic Testing의 4단계 루프를 실제로 설계할 수 있다. 나아가 Claude Code와 Playwright MCP를 실제로 연결해 자연어로 브라우저 테스트를 실행해보고, 반복되는 QA 업무를 Claude Skills로 표준화하는 법까지 익힌다. 이어서 이미 조직이 쌓아둔 레거시 자동화 자산을 버리지 않고 AI 기반 실행 모델로 옮기는 4단계 전환 프레임워크와, 그 정의를 실제로 실행하는 컴퓨터 사용 에이전트(CUA)를 다룬다. 마지막 두 레슨은 프롬프트를 감이 아니라 구조로 쓰는 법 — 토큰과 컨텍스트 윈도우, 6요소 프롬프트 구조, 체이닝·퓨샷· 메타 프롬프팅 — 과 그것을 테스트 분석·설계·회귀·모니터링에 적용하고 결과를 지표로 평가하는 순환까지 다룬다. 끝으로 AI 가속이 테스트를 병목으로 만든 구조를 리드타임 분해와 암달의 법칙으로 측정하고, 제품화된 자율 실행·자율 탐색을 결과 일치율·사양 질문·회귀 자산화까지 갖춘 운영 절차로 만든다.

완료 후 할 수 있는 것

• 테스트 케이스 생성에 효과적인 프롬프트를 설계할 수 있다
• AI가 생성한 테스트 케이스를 왜, 어떻게 검증해야 하는지 설명할 수 있다
• AI로 결함을 분류하고 중복을 탐지하는 원리와 한계를 설명할 수 있다
• 셀프힐링 로케이터가 동작하는 원리와 그 한계를 설명할 수 있다
• MCP가 AI 에이전트와 도구를 연결하는 방식을 설명할 수 있다
• Agentic Testing의 4단계 루프를 실제 시나리오에 적용해 설계할 수 있다
• Claude Code에 Playwright MCP를 연결해 실전 테스트 자동화를 실행할 수 있다
• 반복되는 QA 업무(테스트 케이스·버그 리포트 작성 등)를 Claude Skills로 표준화할 수 있다
• 레거시 자동화 스위트에서 숨은 가정과 비즈니스 의도를 복원해 AI-First 테스트 정의로 전환하는 4단계를 수행할 수 있다
• CUA와 기존 프레임워크의 차이를 실행 시점 관점에서 설명하고, 어떤 테스트를 의도 기반으로 옮기고 어떤 테스트를 결정적 스크립트로 남길지 판단할 수 있다
• 토큰·컨텍스트 윈도우가 만드는 조용한 실패를 이해하고, 6요소 구조와 체이닝·퓨샷·메타 프롬프팅을 상황에 맞게 골라 쓸 수 있다
• 테스트 분석·설계·회귀·모니터링에 프롬프트를 적용하고, 골든셋과 다섯 축으로 결과를 채점해 프롬프트를 개선할 수 있다
• 테스트 리드타임을 작업·대기·재작업으로 분해하고, 암달의 법칙으로 벤더의 배속 주장을 계산해 검증할 수 있다
• 자율 실행용 수동 단계를 쓰고 결과 일치율을 측정하며, 자율 탐색 발견을 결함·사양 질문·오탐·환경으로 나눠 회귀 자산으로 바꿀 수 있다
• Playwright 셀프힐링을 Page 래퍼와 AI Healer로 구현하고, 치유 결과를 Healed 상태·시간/토큰 예산·결함 구분 규칙으로 운영할 수 있다

채용시장에서의 위치

이 모듈은 2025년 이후 QA 채용공고에서 빠르게 늘고 있는 요구사항을 다룬다 — "AI 도구를 활용한 테스트 효율화 경험"은 이제 자동화 경험만큼이나 자주 등장한다. 하지만 이 강의 전체가 그래왔듯, AI는 BYOK(Bring Your Own Key) 원칙 위에서 다뤄야 한다 — AI가 QA의 판단을 대신하는 것이 아니라, QA의 판단력 위에서 반복 작업을 덜어주는 도구로 써야 한다. 모듈 9(개발 지식)라는 토대 없이는 AI가 만든 산출물을 검증할 수 없다는 점을, 이 모듈에서 실제 사례로 계속 확인하게 된다.

마지막 두 레슨은 "AI 시대에 테스트 자동화 엔지니어는 사라지는가"라는 질문을 정면으로 다룬다. 답은 줄어드는 것은 직무가 아니라 작업 이라는 것이다. 셀렉터 수정과 오탐 조사는 줄고, 무엇이 중요한지 정의하고 AI의 판정을 검증하는 일은 늘어난다. 면접에서 변별력을 갖는 것도 "AI 도구를 써봤다"가 아니라 기존 자산을 어떻게 다뤘는가 쪽으로 옮겨가고 있다.

이 영역은 자격증으로도 체계화되고 있다 — ISTQB CT-GenAI(생성형 AI로 테스트하기)가 그것이고, 전체 5개 챕터 중 프롬프트 엔지니어링에 가장 많은 시간을 배정한다. 레슨 11·12가 그 내용을 다루며, 실라버스와 이 커리큘럼의 대응표는 레슨 11에 있다.