개념
공고가 어려워 보이는 진짜 이유
AI QA 공고를 처음 열면 보통 이런 문장이 줄지어 있다. "AI 모델 품질 검증", "LLM 애플리케이션 테스트 자동화", "데이터 파이프라인 검증", "평가 데이터셋 설계". 열 줄쯤 읽으면 "나는 안 되겠다"는 결론이 난다.
그런데 이 문장들이 어려운 이유는 내용이 어려워서가 아니라 단위가 뭉쳐 있어서 다. "AI 모델 품질 검증"은 한 덩어리로 보면 막막하지만, 쪼개면 "무엇을 품질이라 부를지 정하는 일 + 그것을 측정 가능한 판정 기준으로 쓰는 일 + 여러 번 돌려 통계로 판단하는 일"이다. 셋 다 이 커리큘럼 안에 레슨으로 있다.
이 레슨은 공고를 덩어리에서 학습 단위로 되돌리는 작업 이다. 참고로 모듈 44(QA 조직 운영과 품질 컨설팅)는 같은 주제를 뽑는 쪽 에서 다룬다. 이 레슨은 지원하는 쪽 이다.
공고는 문장이 아니라 다섯 개의 블록이다
거의 모든 국내 공고는 같은 다섯 블록으로 되어 있다. 블록마다 읽는 목적이 다르다.
| 블록 | 흔한 제목 | 여기서 알아내야 할 것 | 읽는 순서 |
|---|---|---|---|
| 회사·팀 소개 | "우리 팀은", "About us" | 제품이 무엇이고 AI가 제품의 본체인지 도구인지 | 4순위 |
| 주요 업무 | "담당 업무", "What you'll do" | 이 사람이 매주 만들어야 하는 산출물 | 1순위 |
| 자격 요건 | "지원 자격", "필수 요건" | 서류에서 걸러지는 기준선 | 2순위 |
| 우대 사항 | "이런 분이면 더 좋아요" | 같은 기준선을 넘은 사람들 사이의 순위 | 3순위 |
| 전형·근무 조건 | "채용 절차" | 과제 전형 유무, 계약 형태 | 5순위 |
직함부터 읽지 않는다. 레슨 3(역할 카탈로그)에서 봤듯이 같은 "AI QA 엔지니어"라는 이름이 회사마다 전혀 다른 일을 가리킨다. 주요 업무를 먼저 읽고 산출물을 확인한 다음에 직함을 본다.
자격 요건과 우대 사항은 쓰임이 다르다
둘 다 "요구 사항"처럼 보이지만 인사 담당자가 쓰는 방식이 다르다.
| 자격 요건 | 우대 사항 | |
|---|---|---|
| 역할 | 필터 — 못 넘으면 서류에서 걸러진다 | 정렬 — 넘은 사람들 사이에 순위를 매긴다 |
| 안 채웠을 때 | 다른 근거로 보완해야 지원 가치가 있다 | 없어도 지원한다. 하나만 있어도 눈에 띈다 |
| 흔한 항목 | 경력 연차, 테스트 케이스·결함 리포트 작성 경험, 협업 능력 | 자동화·API 테스트 경험, ISTQB·CSTS 등 자격, 특정 도구 경험, AI 활용 경험 |
| 신입에게 | 대부분 "신입 가능" 또는 "경력 무관"이 아니면 넘기 어렵다 | 신입이 차별화할 수 있는 거의 유일한 칸 |
현실적인 기준은 이렇다. 자격 요건의 70% 정도를 실제 근거로 설명할 수 있으면 지원한다. 100%를 채우고 지원하려 하면 그 공고는 이미 닫혀 있다. 반대로 30%만 채우고 지원하면 시간만 쓴다. 그리고 "AI 관련 경험"이 자격 요건이 아니라 우대 사항 칸에 있는 공고 가 신입에게는 가장 현실적인 문이다.
연차 표기도 액면 그대로 읽지 않는다. "3년 이상"은 대체로 "혼자 한 기능의 테스트를 끝까지 책임져 본 사람"을 뜻한다. 레슨 7의 실습 한 바퀴는 그 책임의 축소판이므로, 연차가 모자라도 같은 종류의 결과물 을 보여 주면 대화가 시작된다.
문구를 역량으로 분해하는 3단계
한 문구를 만나면 늘 같은 세 질문을 던진다.
① 이 문구를 쓴 사람은 무엇을 걱정하고 있는가? (문제)
② 그 걱정을 없애려면 매주 무엇을 만들어 내야 하는가? (산출물)
③ 그 산출물을 만들려면 무엇을 배워야 하는가? (학습 단위 = 모듈)"LLM 애플리케이션 테스트 자동화"로 해 보자. LLM 은 Large Language Model, 즉 사람 말로 묻고 답하는 거대 언어 모델이다.
- ① 걱정: 같은 질문에 매번 다른 답이 나오는 기능을 어떻게 "통과/실패"로 판정하고, 그 판정을 매일 자동으로 돌릴 것인가
- ② 산출물: 판정 기준이 적힌 평가셋(입력과 기대 조건의 모음), 그 기준으로 채점하는 실행 스크립트, 결과를 남기는 기록과 대시보드
- ③ 학습 단위: 비결정적 출력을 통계로 판정하는 법(m18b) + 자동화 구조와 CI 연동(m11·m13·m14) + 기준을 파이프라인으로 운영하는 법(m38)
세 질문을 통과시키면 문구 하나가 모듈 서너 개 로 바뀐다. 그러면 "무엇을 공부해야 하나"가 답이 된다.
자주 나오는 문구 → 이 커리큘럼의 모듈
아래 표의 왼쪽은 국내 QA·AI 관련 공고에서 반복적으로 등장하는 표현을 모은 것이다(특정 회사의 문장을 그대로 옮긴 것이 아니라 여러 공고에 공통으로 나오는 표현을 정리했다). 오른쪽은 이 저장소에 실제로 존재하는 모듈이다.
| 공고 문구 | 실제로 요구하는 역량 | 대응 모듈 |
|---|---|---|
| AI 모델 품질 검증 / 모델 성능 평가 | 정확도·재현율 같은 지표를 읽고, 무엇을 "합격"이라 부를지 기준으로 문서화 | m18b AI 시스템 검증, m36 AI 시스템 품질·신뢰성 평가 |
| LLM 애플리케이션 테스트 자동화 | 비결정적 출력의 판정 기준 설계 + 자동 실행·기록 | m18b, m18a AI 활용 테스트, m11 자동화 전략, m14 CI/CD·지속적 테스팅 |
| 환각(할루시네이션)·RAG 품질 검증 | 근거 없는 답을 탐지하는 절차, 검색 단계와 생성 단계를 나눠 보는 시각 | m18b (환각 탐지·RAG 검증 레슨) |
| 데이터 파이프라인 검증 / 학습 데이터 품질 | 수집→정제→적재 각 단계의 정합성 확인, 데이터 품질 기준 | m18b (데이터 품질 표준·검증 자동화 파이프라인), m39 클라우드·AI 인프라 플랫폼 QA |
| AI가 만든 코드·테스트 검토 | AI 산출물을 신뢰도 거부도 하지 않고 검증하는 기준 | m18c AI 교차검증 |
| 평가셋·정답셋 설계, LLM 판정자 운영 | 골드 세트 구축, 사람 라벨과의 일치도 확인, 판정 드리프트 감시 | m38 AI 검증 파이프라인 운영 |
| 품질 게이트 / 배포 전 자동 검증 | 통과 기준을 파이프라인에 붙이고 Go·No-Go를 기록으로 남기기 | m38, m14 |
| AI 도구를 활용한 테스트 케이스 생성·결함 분류 | 프롬프트 설계와 결과 검증 | m18a, m24 AI·노코드 자동화 도구 |
| AI 규제·표준 대응, 적대적 테스트, 설명가능성(XAI) | 규제 요구를 시험 항목으로 옮기기, 모델을 의도적으로 속여 보는 설계 | m36, m57 AI 테스팅 심화 (준비 중) |
| 테스트 자동화 프레임워크 개발 | 유지 가능한 구조 설계, 로케이터·대기 전략 | m11, m13 UI 자동화 (웹·모바일), m12 API·계약 테스트 |
| Python 또는 JavaScript 활용 능력 | 코드를 읽고 고치고 돌리는 수준 | m09 QA를 위한 개발 지식 |
| 성능·부하 관점의 AI 서비스 검증 | 응답 지연·처리량 관점의 판정 | m16 비기능 테스트 종합, m39 |
표를 읽는 요령이 하나 있다. 굵게 표시된 모듈이 두 개 이상 겹치는 행 이 그 공고의 무게중심이다. 위 표에서 m18b와 m38이 반복해서 나오는데, 실제로 국내 AI QA 공고의 요구 사항 대부분은 이 두 덩어리 — "AI가 만든 결과를 판정하는 기준"과 "그 기준을 파이프라인으로 운영하는 일" — 로 수렴한다.
스테이지 6 "AI 시대의 QA" 모듈 여섯 개
공고 매핑에 쓰는 AI 모듈은 여섯 개다. 각각의 성격과 현재 집필 상태는 다음과 같다.
| 모듈 | 제목 | 난이도 | 한 줄 성격 | 상태 |
|---|---|---|---|---|
| m18a | AI 활용 테스트 | 중급 | AI를 도구로 써서 테스트를 더 잘하는 법 | 집필됨 |
| m18b | AI 시스템 검증 | 고급 | AI 자체를 시험 대상으로 놓고 검증하는 법 | 집필됨 |
| m18c | AI 교차검증 | 중급 | AI가 만든 산출물을 사람이 검증하는 훈련 | 집필됨 |
| m36 | AI 시스템 품질·신뢰성 평가 — ISO/IEC 25059·TS 25058·TS 4213·TR 24027·TR 24028 | 고급 | 국제 표준을 판정 기준으로 옮기기 | 집필됨 |
| m38 | AI 검증 파이프라인 운영 — 검증 기준·에이전트 스킬·배포 게이트·판정 기록 | 고급 | 기준을 매일 도는 파이프라인으로 만들기 | 집필됨 |
| m57 | AI 테스팅 심화 — CT-AI 매핑·ML 파이프라인·적대적 테스트·XAI·EU AI Act·에이전트 평가 | 고급 | 자격·규제 수준까지 끌어올리기 | 준비 중 (6개 중 1개 집필: ISTQB CT-AI 실러버스 매핑) |
m18a와 m18b의 차이는 신입이 가장 많이 헷갈리는 지점이다. AI로 테스트하기(m18a) 와 AI를 테스트하기(m18b) 는 이름만 비슷할 뿐 전혀 다른 일이다. 공고의 주요 업무를 읽고 둘 중 어느 쪽인지 먼저 판정하면 나머지 해석이 쉬워진다.
순서가 고민된다면 이 저장소의 AI QA 트랙 이 정해 둔 순서를 그대로 쓰면 된다. m03(테스트 설계 기법) → m09(QA를 위한 개발 지식) → m11(자동화 전략) → m18a → m18b → m18c → m38 → m13(UI 자동화)이다. AI 모듈이 앞이 아니라 중간에 있다는 점을 눈여겨본다. 설계와 개발 기초 없이 AI 모듈부터 시작하면 용어는 늘어도 판정은 못 한다.
신입이 지금 갖출 수 있는 것과 없는 것
공고의 모든 항목을 신입이 채울 수는 없다. 채울 수 있는 것에 시간을 쓰고, 채울 수 없는 것은 솔직하게 말하는 방법 을 준비한다.
| 구분 | 항목 | 지금 무엇을 할 수 있나 |
|---|---|---|
| 지금 갖출 수 있다 | 테스트 설계 기법을 적용한 설계서 | 레슨 7 실습의 설계서가 그대로 증거다 |
| 재현 가능한 결함 리포트 | 공개 제품 대상으로 얼마든지 만든다 | |
| AI 도구로 케이스를 만들고 검증한 기록 | 생성 결과의 오류를 찾아낸 대조표가 핵심이다 | |
| 작은 평가셋 하나 | 공개 LLM 서비스에 질문 30개와 기대 조건을 붙여 직접 채점해 본다 | |
| Python·JavaScript 읽고 고치기 | m09 범위. 남의 코드를 읽고 한 줄 고치는 수준이면 충분하다 | |
| 시간이 필요하다 | 자동화 프레임워크 설계 | 구조 설계는 유지보수를 겪어 봐야 이해된다. m11·m13을 먼저 |
| 규제·표준 대응 | m36·m57 범위. 신입 공고에서 자격 요건으로 나오는 일은 드물다 | |
| 회사 안에서만 가능하다 | 운영 중인 모델의 드리프트 감시 | 실데이터와 권한이 필요하다. 면접에서는 "원리는 알고 경험은 없다"가 정답이다 |
| 배포 게이트 운영 | 조직 합의가 필요한 일이다. 입사 후 과제로 말한다 |
모르는 것을 아는 척하는 것이 가장 큰 감점이다. "그 부분은 해 본 적이 없습니다. 대신 비슷한 구조의 이 일을 이렇게 해 봤습니다" 가 신입에게 가장 강한 답변 형식이다.
공고 한 건을 읽고 나서 남기는 것
읽고 끝내면 남는 게 없다. 공고 하나마다 한 장짜리 대조표를 남긴다.
[공고] AI 서비스 QA 엔지니어 / 신입~3년 / 과제 전형 있음
[무게중심] AI를 시험 대상으로 (m18b·m38 쪽)
주요 업무 문구 → 요구 역량 → 모듈 → 내 상태
1 LLM 응답 품질 평가 판정 기준·통계적 판단 m18b ○ 평가셋 30문항 만들어 봄
2 평가 자동화 구축 실행·기록 자동화 m14/m38 △ 스크립트는 돌려 봄, CI 미경험
3 데이터 정합성 확인 수집·적재 단계 검증 m18b/m39 ✕ 미경험
4 결함 리포트·재현 재현 절차 작성 m06 ○ 실습 5건
[지원 판단] 자격 요건 4개 중 3개 설명 가능 → 지원
[다음 4주 계획] 3번 공백을 m18b 데이터 품질 레슨 + 공개 데이터셋 실습으로 메운다○·△·✕ 세 칸으로 나누는 것이 핵심이다. △와 ✕가 그대로 다음 달 학습 계획이 되고, ○는 그대로 자기소개서 문장이 된다.
실무에서 왜 필요한가
공고 해석은 취업 준비생만의 기술이 아니다. 시장이 요구하는 것이 무엇인지 알려 주는 가장 정확한 신호 라서 재직자도 분기에 한 번은 읽는다. 작년까지 우대 사항이던 "AI 활용 경험"이 올해 자격 요건으로 올라가는 식의 이동이 공고에는 먼저 나타난다.
또 공고를 모듈로 분해해 두면 학습 우선순위 다툼이 사라진다. "자동화를 먼저 할까 AI를 먼저 할까" 같은 고민은 공고 다섯 건을 분해해 보면 대개 저절로 정리된다. 다섯 건 모두에 나오는 항목이 1순위고, 한 건에만 나오는 항목은 나중이다. 팀의 역량 계획을 세울 때도 같은 방식이 그대로 쓰인다.
채용시장에서의 위치
AI QA 공고에서 신입이 가장 자주 하는 실수는 AI 쪽 단어만 강조 하는 것이다. 그런데 이 공고들이 요구하는 능력의 절반 이상은 여전히 기본기 — 요구사항을 판정 기준으로 바꾸고, 재현 가능한 결함을 쓰고, 결과를 기록으로 남기는 일 — 다. AI는 그 기본기를 새로운 대상 에 적용하는 것이지, 기본기를 대체하지 않는다.
그래서 서류와 면접에서 가장 강한 조합은 이렇다. 기본기 증거 하나(레슨 7의 한 바퀴) + AI 대상 증거 하나(작은 평가셋과 그 판정 기준). 두 번째가 있으면 "AI 관심 있다"가 아니라 "AI를 대상으로 판정해 봤다"가 된다. 신입 지원자 사이에서 이 차이는 매우 크게 벌어진다.
자격증은 이 영역에서도 보조다. ISTQB CT-AI 같은 AI 테스팅 자격은 학습 범위의 목록으로는 유용하지만, 평가셋 하나를 직접 만들어 본 기록을 이기지는 못한다.