자동화 전략 수립하기: 도구보다 먼저 정해야 할 것들

개념

"어떤 도구를 쓸까"는 마지막 질문이다

자동화를 시작할 때 가장 먼저 나오는 질문이 보통 "Playwright 할까 Selenium 할까, Postman 할까 코드로 짤까"(스테이지 4의 나머지 모듈에서 다룬다)다. 하지만 이 모듈의 emphasis가 말하듯, 도구 선택은 전략이 정해진 다음에 오는 마지막 단계다. 전략 없이 도구부터 고르면, 그 도구로 무엇이든 자동화하려 들게 되고, 결국 레슨 4의 자동화 부채로 이어진다.

자동화 전략에 담아야 할 것들

이 모듈에서 배운 내용을 순서대로 엮으면, 하나의 자동화 전략 문서가 된다.

1. 목표 — 왜 자동화하는가 (배포 신뢰도 향상? 회귀 테스트 시간 단축?)
2. 범위 — 무엇을 자동화할 것인가 (레슨 2의 판단 기준 적용)
3. 계층 배분 — 단위:통합:E2E를 어떤 비율로 가져갈 것인가 (레슨 1의 피라미드)
4. 우선순위 — 어떤 순서로 자동화할 것인가 (레슨 3의 ROI 기준)
5. 유지보수 계획 — 누가, 언제, 어떻게 자동화 코드를 관리할 것인가 (레슨 4의 부채 관리)
6. 성공 기준 — 무엇을 보고 "자동화가 잘 되고 있다"고 판단할 것인가

이 순서는 모듈 4(레슨 1)에서 배운 테스트 계획서 작성 순서와도 닮아있다 — 자동화도 결국 테스트 활동의 한 형태이기 때문이다.

목표 없는 자동화의 함정

"자동화율 80% 달성"처럼 숫자 자체가 목표가 되면, 팀은 그 숫자를 채우기 위한 테스트를 늘리지, 실제로 가치 있는 자동화를 하지 않게 된다(레슨 4에서 배운 "자동화 개수가 목표가 되면 안 된다"는 원칙과 같은 맥락). 좋은 목표는 "배포 시 회귀 테스트에 걸리는 시간을 하루 에서 30분으로 줄인다"처럼, 구체적이고 측정 가능한 성과로 표현된다.

성공 기준 예시

- 실행 시간: 전체 스위트가 30분 이내에 끝난다
- 신뢰도: 실패 시 90% 이상이 실제 결함이다(플래키로 인한 거짓 실패가 10% 미만)
- 유지보수 부담: 스프린트당 자동화 코드 수정에 쓰는 시간이 전체 QA 작업의 20%를 넘지 않는다

이런 기준이 있으면, 자동화가 잘 되고 있는지 정기적으로 점검할 수 있고(모듈 8 레슨 4에서 배운 모니터링·통제와 같은 원리), 기준을 벗어나면 레슨 4의 부채 관리로 돌아가 정리할 시점이라는 신호로 삼을 수 있다.

이 모듈에서 스테이지 4의 나머지로

이제 전략의 뼈대가 섰으니, 다음 모듈부터는 이 전략을 실제로 구현하는 구체적인 도구와 기법을 다룬다 — 모듈 12(API·계약 테스트), 모듈 13(UI 자동화), 모듈 14(CI/CD), 모듈 15(RPA·레거시 자동화)가 전부 "이 계층, 이 영역을 어떤 도구로 자동화하는가"에 대한 답이다. 이 모듈에서 세운 판단 기준(레슨 2)과 피라미드 원칙(레슨 1)을 기억하면서 각 도구를 배우면, "이 도구가 어디에 적합하고 어디에는 안 맞는지"를 스스로 판단할 수 있다.

실무에서 왜 필요한가

"자동화 전략을 세워본 경험이 있는가"는 QA 리드·시니어 포지션 면접에서 자주 나오는 질문이다. 도구 이름을 나열하는 대신, 이 레슨에서 본 것처럼 목표→범위→계층 배분→우선순위→유지보수 계획→ 성공 기준이라는 구조로 설명할 수 있으면, 단순히 도구를 쓸 줄 아는 사람이 아니라 자동화를 전략적으로 이끌 수 있는 사람이라는 인상을 준다.

실습 과제

과제 1 — 미니 전략 문서 작성하기 (15분)

가상의 이커머스 서비스를 대상으로, 이 레슨의 6개 항목(목표·범위· 계층 배분·우선순위·유지보수 계획·성공 기준)을 각각 한두 문장으로 채워 미니 자동화 전략 문서를 작성한다.

과제 2 — 나쁜 목표 고쳐쓰기 (10분)

"자동화 테스트 케이스를 이번 분기에 200개 늘린다"는 목표가 왜 문제가 될 수 있는지 설명하고, 이 목표를 더 나은 형태(구체적이고 측정 가능한 성과 중심)로 다시 써본다.

자가 체크리스트

• 자동화 전략에 담겨야 할 6가지 요소를 순서대로 설명할 수 있다
• 목표가 숫자 자체가 되면 안 되는 이유를 설명할 수 있다
• 좋은 성공 기준의 예시를 들 수 있다
• 이 모듈의 원칙들이 스테이지 4의 나머지 모듈과 어떻게 연결되는지 설명할 수 있다

흔한 실수

• 전략 없이 도구 선택부터 시작한다. 이 모듈 전체가 경고하는 가장 흔한 함정이다.
• "자동화율 n%" 같은 숫자를 목표로 세운다. 실질적 가치가 아니라 숫자 채우기로 흐를 위험이 크다.
• 성공 기준을 세우지 않고 자동화를 시작한다. 나중에 "이게 잘 되고 있는 건가?"를 판단할 근거가 없어진다.

참고 자료

• Dorothy Graham & Mark Fewster, Experiences of Test Automation — 자동화 전략 수립 사례를 폭넓게 다룬 실무서
• ISTQB CTFL — Test Automation Strategy 관련 개념의 공식 정의