AI 검증 파이프라인 운영 — 검증 기준·에이전트 스킬·배포 게이트·판정 기록

학습 목표

이 모듈 한 줄 요약 — "한 번 잘 확인하는 것과 매번 자동으로 걸러지게 만드는 것". 인공지능으로 시험하고, 인공지능을 시험하고, 그 산출물을 교차 확인하는 법을 배웠다. 여기서는 그것을 조직의 상시 체계로 만든다 — 기준을 글로 정하고, 통과 못 하면 배포가 막히게 하고, 판정의 근거를 기록으로 남긴다.

모듈 18a·18b·18c에서 AI로 테스트하는 법, AI 시스템을 테스트하는 법, AI 산출물을 교차검증하는 법을 배웠다. 이 모듈은 그것들을 조직의 검증 체계로 운영 하는 법을 다룬다. 채용 공고에 "AI가 스스로 검증하게 만들어 품질 검증을 확장할 QA", "AI가 남긴 판정 근거로 배포 여부를 결정하는 게이트", "개발자의 AI 에이전트 스킬로 코드 작성 시점부터 적용", "PR 단위 검증·주기 회귀·릴리즈 전 검증으로 이어지는 파이프라인"으로 나오는 업무를 처음부터 끝까지 하나의 흐름으로 설계한다.

먼저 요구사항·화면·API에서 AI가 케이스로 펼치고 판정할 수 있는 다섯 칸짜리 검증 기준과 루브릭을 쓰고, 그 기준을 Agent Skills와 AGENTS.md로 개발자의 에이전트에 배포한다. 해석 판정을 맡을 LLM 판정자를 골드 세트·Cohen의 카파·FAIL 재현율로 보정하고 편향과 드리프트를 통제한다. 같은 기준을 PR·회귀·릴리스 전 세 층에 다른 강도로 배치해 판정 레코드 한 형식으로 남기고, 그 레코드로 주간 배포 게이트의 자동 판정·사람 검토·결정 기록과 예외 승인을 운영한다. 플래키 비율·기준 커버리지·결함 발견 위치·게이트 지표·판정자 오판률·DORA 다섯 지표로 파이프라인을 개선하고, 마지막으로 아직 붙지 않은 서비스를 온보딩 단계와 성숙도 모델로 넓힌다.

이 모듈을 관통하는 문장은 두 개다. AI의 판정은 기준보다 정확할 수 없다. 그리고 기록되지 않은 판정은 판정이 아니다.

완료 후 할 수 있는 것

• 요구사항·화면·API에서 대상·조건·관찰·판정·근거 다섯 칸의 검증 기준을 쓰고, 결정적 판정과 해석 판정을 가를 수 있다
• 판정 근거로 인용을 요구하는 루브릭을 쓰고, 부수 효과·부정 기준까지 포함해 수용 기준을 판정 단위로 쪼갤 수 있다
• 검증 기준을 SKILL.md 명세에 맞는 스킬과 AGENTS.md 규칙으로 나눠 배포하고, 기대값을 구현에서 가져오지 못하게 막을 수 있다
• 스킬의 버전·소유권·기준 완화 승인을 설계하고, 스킬이 실제로 적용됐는지 지표와 의도적 시험으로 확인할 수 있다
• 골드 세트를 설계하고 카파·FAIL 재현율·정밀도로 LLM 판정자를 보정하며, 위치·길이·자기 선호·형식 조작 편향을 설계로 통제할 수 있다
• PR·회귀·릴리스 전 세 층의 질문·시간 예산·차단 대상을 정하고, 변경 영향 지도와 판정 레코드 형식을 설계할 수 있다
• 차단 규칙을 조건으로 쓰고, 게이트 요약을 레코드 조회로 만들고, 예외 승인과 조건부 Go 결정을 추적 가능한 기록으로 남길 수 있다
• 플래키 비율을 정의대로 계산하고, 기준 커버리지·결함 발견 위치·게이트 지표·판정자 오판률을 짝 지표와 함께 대시보드로 구성할 수 있다
• 확장 대상을 네 축으로 고르고, 서비스 온보딩 여덟 단계와 검증 성숙도 0~4단계로 확장 계획을 세우고 다른 팀의 협의를 끌어낼 수 있다

채용시장에서의 위치

이 모듈의 요건 조합은 AI를 제품 개발에 깊게 들인 클라우드·AI 플랫폼 기업, 에이전트 기반 개발을 도입한 SaaS 기업, 대기업 AI 전환 조직의 QA 공고에 2025년 말부터 빠르게 늘었다. 공고 문장은 회사마다 다르지만 요구하는 것은 한 방향이다. 테스트 케이스를 쓰는 사람이 아니라, AI가 검증하고 판정하는 체계를 설계하고 그 판정에 책임지는 사람. 그래서 "AI(LLM·에이전트)를 이용해 검증을 자동화해 본 경험", "검증 결과를 근거로 배포 여부를 판정하고 그 근거를 기록으로 남겨 본 경험", "에이전트가 쓰는 스킬·규칙을 만들어 본 경험"이 한 공고에 함께 나온다.

QA 경력자에게 유리한 지점은 분명하다. 기준을 판정 단위로 쪼개는 능력, 부수 효과와 부정 조건을 떠올리는 도메인 감각, 거짓 경보와 놓친 결함의 비용을 구분하는 감각은 AI 도구를 잘 다루는 개발자에게 오히려 드물다. 반대로 공백이 되기 쉬운 것은 판정자를 숫자로 보정 하는 방법과, 파이프라인·게이트를 레코드 형식과 규칙 코드 로 설계하는 방법이다.

면접에서 힘을 갖는 이야기는 "AI로 테스트를 자동화했다"가 아니다. "AI가 통과라고 한 것을 무엇으로 믿었는가" 다. 관찰 일치율은 높았지만 FAIL 재현율이 낮아 루브릭을 고친 이야기, 재시도 통과로 숨어 있던 간헐 결함을 레코드의 시도 기록으로 찾아낸 이야기, 관찰 기간을 약속하고 두 번째 서비스 팀의 협의를 끌어낸 이야기가 이 모듈의 성숙도를 보여준다.