본문으로 건너뛰기
QA-Lab
중급20

Agentic Testing이란 무엇인가: 관찰-계획-실행-검증 루프

정해진 스크립트를 반복하는 자동화와 달리, Agentic Testing은 AI가 상황을 관찰하고 스스로 계획을 세워 실행한다. 이 루프의 4단계를 이해한다.

  • #AgenticTesting
  • #AI에이전트
  • #자율테스트

개념

기존 자동화와의 근본적 차이

모듈 13에서 배운 Playwright 스크립트는, 사람이 **"1번 이거 클릭, 2번 저거 입력, 3번 결과 확인"**이라고 미리 정해둔 순서를 그대로 반복한다. 화면이 예상과 다르면 그냥 실패한다.

Agentic Testing은 다르다 — AI 에이전트에게 **"이 목표를 달성해라"**는 상위 목표만 주면, 에이전트가 현재 화면 상태를 관찰하고, 스스로 다음 행동을 계획하고, 실행하고, 그 결과를 다시 관찰하며 목표에 도달할 때까지 반복한다.

기존 자동화: 정해진 절차를 그대로 실행 (모듈 13)
Agentic Testing: 목표만 주어지면 절차 자체를 AI가 그때그때 구성 (이 레슨)

4단계 루프 — 관찰(Observe), 계획(Plan), 실행(Act), 검증(Verify)

1. 관찰(Observe) — 지금 화면에 무엇이 보이는지 파악한다.

"현재 화면에는 로그인 폼이 있고, 이메일·비밀번호 입력창과
로그인 버튼이 보인다."

2. 계획(Plan) — 목표를 달성하기 위해 다음에 뭘 해야 할지 판단한다.

"목표는 '로그인 후 첫 주문까지 완료하기'다. 지금은 로그인 단계이니,
이메일과 비밀번호를 입력하고 로그인 버튼을 눌러야 한다."

3. 실행(Act) — 레슨 4에서 배운 MCP를 통해 실제 행동을 수행한다.

이메일 입력창에 값 입력 → 비밀번호 입력창에 값 입력 → 로그인 버튼 클릭

4. 검증(Verify) — 행동의 결과가 기대와 맞는지 확인하고, 다음 루프로 넘어간다.

"로그인 후 대시보드 화면으로 이동했다. 예상대로다. 다음 단계
(상품 검색)로 넘어간다." → 다시 관찰 단계로 돌아감

이 루프는 목표(예: "첫 주문 완료")에 도달하거나, 더 이상 진행할 수 없다고 판단할 때까지 반복된다.

탐색적 테스팅과 무엇이 다른가

모듈 5에서 배운 탐색적 테스팅도 "미리 정해진 스크립트 없이" 진행됐다. 하지만 차이가 있다.

탐색적 테스팅(모듈 5): 사람의 직관과 경험, 도메인 지식으로 다음 행동을 판단
Agentic Testing: AI가 화면 관찰과 통계적 추론으로 다음 행동을 판단

Agentic Testing은 사람의 도메인 지식이나 "이상하다는 감각"(모듈 5 레슨 1)을 갖고 있지 않다 — 목표 달성이라는 관점에서 그럴듯한 다음 행동을 계산할 뿐이다. 그래서 사람이 발견하는 미묘한 이상 징후를, Agentic Testing은 놓칠 수 있다.

언제 유용한가

- 반복적인 회귀 시나리오를, 화면이 조금씩 바뀌어도 유연하게
  따라가며 실행하고 싶을 때(레슨 3의 셀프힐링과 비슷한 유연성)
- 정해진 스크립트로 표현하기엔 너무 다양한 경로가 있는 흐름을
  넓게 훑어보고 싶을 때
- 사람이 하나하나 스크립트를 짤 시간이 부족한 초기 탐색 단계

여전히 검증이 필요하다

레슨 1에서 배운 원칙이 여기서도 이어진다 — Agentic Testing이 "목표를 달성했다"고 보고해도, 그 판단이 정확한지는 사람이 확인해야 한다. 특히 "검증(Verify)" 단계에서 AI가 무엇을 기준으로 "성공"이라 판단했는지 QA가 이해하고 있어야, 그 결과를 신뢰할 수 있는지 판단할 수 있다.

실무에서 왜 필요한가

"이 새 기능, 전체적으로 한번 훑어봐 줄 수 있어?"라는 요청에 Agentic Testing을 활용하면, 사람이 시나리오를 하나하나 스크립트로 짜지 않고도 AI가 목표 지향적으로 넓게 탐색할 수 있다. 다만 이건 사람의 탐색적 테스팅(모듈 5)을 완전히 대체하는 게 아니라, 초기 스크리닝이나 반복적인 회귀 확인을 보완하는 도구로 이해해야 한다.

실습 과제

과제 1 — 4단계 루프 적용하기 (10분)

"장바구니에 상품 담고 쿠폰 적용까지 완료하기"라는 목표를, 이 레슨의 4단계(관찰-계획-실행-검증) 루프로 최소 2회 반복하는 과정을 구체적으로 적어본다.

과제 2 — 놓칠 수 있는 것 예상하기 (10분)

Agentic Testing이 "로그인에 성공했다"고 판단했지만, 실제로는 로그인 화면 디자인이 미묘하게 깨져 보이는 상황이 있다고 하자. AI가 이걸 놓칠 수 있는 이유를 설명한다.

자가 체크리스트

  • 기존 자동화와 Agentic Testing의 근본적 차이를 설명할 수 있다
  • 관찰-계획-실행-검증 4단계 루프를 순서대로 설명할 수 있다
  • Agentic Testing과 탐색적 테스팅의 차이(직관 vs 통계적 추론)를 설명할 수 있다
  • Agentic Testing이 유용한 상황과, 여전히 사람의 검증이 필요한 이유를 설명할 수 있다

흔한 실수

  • Agentic Testing이 탐색적 테스팅을 완전히 대체한다고 생각한다. 사람의 직관과 도메인 지식은 여전히 대체 불가능한 영역이 많다.
  • AI가 "성공"이라고 보고하면 그대로 믿는다. 검증 단계의 판단 기준이 무엇인지 사람이 확인해야 한다.
  • 모든 테스트를 Agentic Testing으로 전환하려 한다. 명확한 회귀 시나리오는 여전히 기존 자동화(모듈 13)가 더 예측 가능하고 안정적일 수 있다.

참고 자료

  • Anthropic — Building Effective AI Agents — 에이전트 루프 설계 원칙에 대한 공식 자료
  • ISTQB — AI 확장 신디랩 자료 — Agentic Testing 관련 최신 개념 정의