본문으로 건너뛰기
QA-Lab
중급20

AI로 결함 분류하고 중복 탐지하기

수백 건씩 쌓이는 이슈를 AI가 심각도·우선순위 초안을 잡고 중복을 찾아주면, QA는 그 판단을 검토하는 데 시간을 쓸 수 있다. 이 자동화의 원리와 한계를 이해한다.

  • #AI결함분류
  • #중복탐지
  • #Jira자동화

개념

반복적인 분류 작업을 AI에게 맡기기

모듈 6(레슨 1)에서 배운 심각도·우선순위 판단, 모듈 7(레슨 1)에서 배운 이슈 타입·라벨 분류는 QA가 매일 반복하는 작업이다. AI는 결함 리포트의 텍스트를 읽고, 과거 데이터의 패턴을 근거로 이런 분류의 초안을 제안할 수 있다.

결함 리포트: "결제 완료 버튼 클릭 시 500 에러, 결제는 이미 승인됨"
AI 제안: 심각도 - 높음(재무 영향), 라벨 - 결제, 우선순위 - 긴급

중복 탐지(Duplicate Detection)

같은 문제를 서로 다른 사람이 다른 표현으로 여러 번 등록하는 경우가 실무에서 흔하다.

리포트 A: "장바구니에서 수량 늘리면 가격이 안 바뀜"
리포트 B: "카트 수량 변경해도 총액 갱신이 안 됨"

사람이 보면 다른 문장이지만 같은 결함이다. AI는 텍스트의 의미적 유사성을 비교해 "이 리포트가 기존 리포트 #123과 중복일 가능성이 높습니다"라고 제안할 수 있다 — 모듈 7(레슨 1)에서 배운 이슈 추적 도구의 "연결(Links)" 필드를 채우는 작업을 도와주는 것이다.

이 자동화가 동작하는 원리

AI는 과거에 쌓인 수많은 결함 리포트와 그 분류 결과를 학습해서, **"이런 표현·맥락의 리포트는 대체로 이런 심각도로 분류됐다"**는 패턴을 찾아낸다. 이건 결함의 실제 내용을 깊이 이해해서 판단하는 것이 아니라, 통계적 유사성에 기반한 추론이라는 점을 QA는 인식하고 있어야 한다.

한계 — AI는 맥락을 완전히 이해하지 못한다

- "로그인 화면 글자 색이 이상함"이라는 리포트가, 실제로는
  "다크 모드에서 텍스트가 배경과 겹쳐 아예 안 보인다"는 심각한
  접근성 문제(모듈 16 레슨 7)일 수 있다 — AI는 표면적 표현만
  보고 낮은 심각도로 오분류할 수 있다
- 도메인 특화된 맥락(우리 서비스만의 비즈니스 규칙)을 AI가 모르면
  판단이 부정확해진다
- 중복 탐지가 실제로는 다른 결함인데 표현이 비슷하다는 이유로
  잘못 묶일 수 있다

AI 제안은 초안이지 결정이 아니다

모듈 6(레슨 1)에서 배운 심각도·우선순위 판단 원칙 — 심각도는 QA가 기술적으로, 우선순위는 비즈니스 관점에서 판단한다 — 은 AI가 자동화해도 최종 책임은 여전히 사람에게 있다. AI의 제안을 그대로 받아들이지 않고, "이 제안이 맞는지"를 QA가 최종 검토하는 구조로 써야 한다.

어디에 이 자동화를 적용할지 판단하기

모듈 11(레슨 2)에서 배운 자동화 판단 기준(반복성·안정성·회귀 가치)을 여기에도 적용할 수 있다.

적합한 경우: 결함 리포트가 매일 수십~수백 건 쌓여 사람이 다
             검토하기 벅찬 대규모 프로젝트
부적합한 경우: 결함이 드물게 발생하고, 맥락이 매우 복잡해 AI가
              오분류할 위험이 큰 도메인

실무에서 왜 필요한가

이슈가 하루에 수백 건씩 쌓이는 대규모 서비스에서, AI가 1차 분류 초안을 제시하면 QA는 "이 분류가 맞는지" 검토하는 데만 시간을 쓸 수 있어 처리 속도가 크게 빨라진다. 다만 이 자동화를 도입한 QA 리드는, "AI가 오분류한 케이스가 얼마나 되는지" 정기적으로 표본 검토하며 신뢰도를 관리해야 한다 — 이건 모듈 14(레슨 5)에서 배운 False Alarm 관리와 같은 원리다.

실습 과제

과제 1 — AI 오분류 시나리오 찾기 (10분)

"에러 메시지 문구가 어색함"이라는 짧은 리포트를, 실제로는 훨씬 심각한 결함일 수 있는 상황으로 확장해서 하나 만들어본다(레슨의 다크 모드 예시처럼). AI가 표면적 표현만으로 오분류할 위험을 설명한다.

과제 2 — 검토 프로세스 설계하기 (10분)

AI 결함 분류 자동화를 도입한 팀이 있다고 하자. AI 제안의 정확도를 주기적으로 검증하기 위한 절차를 간단히 설계한다(예: 매주 표본 10건을 사람이 재검토).

자가 체크리스트

  • AI가 결함 분류·중복 탐지를 어떤 원리로 하는지 설명할 수 있다
  • AI 분류의 한계(맥락 이해 부족, 오분류 가능성)를 설명할 수 있다
  • AI 제안이 초안일 뿐 최종 결정이 아닌 이유를 설명할 수 있다
  • 이 자동화가 적합한 상황과 부적합한 상황을 구분할 수 있다

흔한 실수

  • AI의 심각도·우선순위 제안을 검토 없이 그대로 승인한다. 최종 판단 책임은 여전히 QA에게 있다.
  • 중복 탐지 결과를 무조건 신뢰해 서로 다른 결함을 하나로 묶어버린다. 실제로 다른 원인일 수 있으므로 사람이 확인해야 한다.
  • AI 분류 자동화를 도입한 뒤 정확도를 한 번도 검증하지 않는다. 지속적인 표본 검토가 필요하다.

참고 자료

  • ISTQB — AI 활용 테스트 관련 확장 자료 — AI 기반 결함 분류의 공식 개념
  • Atlassian — Jira의 AI 기반 이슈 분류 기능 공식 문서 — 실제 도구에서의 구현 사례