QA 채용 설계 — 면접 과제와 평가 기준을 만드는 쪽에 서기

개념

이 레슨의 방향

모듈 42 레슨 8 은 지원하는 쪽 에서 공고를 해부했다. 이 레슨은 채용하는 쪽 이다. 그리고 신규 입사자의 교육과정 설계는 모듈 60 레슨 2 가 맡는다 — 이 레슨은 입사 전까지, 거기는 입사 후 다.

채용 설계가 테스트 매니저·QA 리드의 일인 이유는 단순하다. 잘못 뽑으면 그 비용을 조직이 몇 년 치른다. 그리고 좋은 사람을 놓치는 비용 도 같다. 둘 다 전형 설계의 품질에서 나온다.

먼저 정할 것 — 직무가 아니라 "빈 자리의 모양"

채용이 실패하는 가장 흔한 원인은 무엇을 뽑는지 합의되지 않은 것 이다. "QA 엔지니어 1명" 으로 시작하면 면접관마다 다른 사람을 머릿속에 그리고, 평가가 갈린다.

합의할 것은 네 가지다.

세 번째가 공고의 품질을 정한다. 요건을 길게 적을수록 지원자가 줄고, 줄어드는 쪽은 대개 자신을 과소평가하는 좋은 지원자 다. "반드시" 와 "있으면 좋음" 을 가르고, 반드시 쪽을 셋 이하 로 줄이는 연습이 효과가 크다.

무엇을 검증할 것인가 — 역량을 행동으로 쪼갠다

"테스트 설계 능력" 은 평가할 수 없다. 평가하려면 관찰 가능한 행동 으로 쪼개야 한다.

마지막 두 줄이 과소평가된다. 특히 "모르는 것을 모른다고 말하고 확인 경로를 제시하는 행동" 은 규제·도메인 영역에서 일할 사람에게 결정적이고, 추측으로 답하는 지원자는 들어와서도 같은 방식으로 일한다.

전형 단계를 역량에 배치한다

각 단계가 무엇을 보는 단계인지 정하고, 중복을 없앤다. 중복은 지원자의 시간을 낭비하고 판별력을 높이지 않는다.

[서류] ─→ [사전 과제 또는 기술 대화] ─→ [실무 면접] ─→ [리더 면접]
  │              │                          │              │
경험의 모양     핵심 역량 1~2개           나머지 역량      동기·기대·조건

원칙 셋이다.

1. 한 역량은 한 단계에서 본다. 같은 질문을 단계마다 반복하지 않는다
2. 앞 단계에서 떨어뜨릴 수 있는 것을 앞에 둔다. 뒤로 미루면 양쪽 시간이 든다
3. 각 단계에 탈락 기준을 적는다. 적지 않으면 "느낌" 으로 결정된다

사전 과제 — 쓸 거라면 설계에 책임이 따른다

사전 과제는 판별력이 높지만 지원자의 무보수 시간을 쓴다. 그래서 쓰기로 했다면 지켜야 할 선이 있다.

마지막 항목이 중요하다. 과제를 유일한 경로로 두면 시간이 많은 지원자 가 유리해진다. 그것은 역량과 무관한 변수다. 과제 대신 기술 대화 + 과거 작업물 설명 경로를 열어 두면 모집단이 넓어진다.

과제 주제로 쓸 만한 것은 작게 자른 실제 문제 다.

• 모호한 요구사항 한 장을 주고 질문 목록과 케이스 설계 를 받는다
• 결함 증상 설명을 주고 재현 절차와 추가 확인 항목 을 받는다
• 간단한 공개 서비스를 대상으로 30분 탐색 기록 을 받는다
• 자동화 코드 한 조각을 주고 깨지기 쉬운 지점 지적 을 받는다

첫 번째가 가장 판별력이 높다. 모호한 요구에서 질문을 만드는 능력은 가르치기 어렵고, QA 업무의 중심에 있다.

평가 기준 — 사람 사이에 일치시키는 것이 목표

평가표를 만드는 목적은 점수를 매기는 것이 아니라 면접관 사이의 기준을 일치시키는 것 이다. 그래서 추상적 척도보다 행동 수준 기술 이 낫다.

[나쁜 척도]
테스트 설계 능력:  1 ─ 2 ─ 3 ─ 4 ─ 5
  → 면접관마다 3의 의미가 다르다
 
[좋은 척도 — 행동으로 기술]
모호한 요구에서 질문 만들기
  미달: 요구를 그대로 받아들여 케이스를 쓴다
  기준: 모호한 지점을 지적하고 질문을 만든다
  초과: 질문의 답에 따라 설계가 어떻게 갈리는지까지 말한다

"기준" 칸이 채용 여부를 정하는 선 이고, 그 선을 합의하는 자리 가 필요하다. 면접 전에 면접관들이 모여 같은 가상 답변을 보고 각자 판정해 보면 기준이 갈리는 지점이 드러난다. 모듈 32 레슨 8 의 모의 평가와 같은 발상이다.

기록 규칙 도 정한다 — 판정만 적지 않고 근거가 된 지원자의 말·행동 을 적는다. "소통이 좋음" 은 근거가 아니다. 나중에 비교하거나 피드백을 줄 때 쓸 수 없고, 편향이 끼어들 여지가 커진다.

편향을 줄이는 장치

완전히 없앨 수는 없지만 줄이는 장치는 있다.

• 같은 질문을 같은 순서로 묻는다(구조화 면접). 자유 대화는 인상에 좌우된다
• 면접관 각자 먼저 기록한 뒤 논의한다. 먼저 말한 사람의 판정에 수렴하는 것을 막는다
• 과제를 익명으로 검토할 수 있으면 그렇게 한다
• 역량 외 정보를 평가 기록에서 분리 한다. 출신·나이·공백 기간처럼 직무 수행과 무관한 정보가 기록에 섞이면 판정에 영향을 준다
• "우리와 잘 맞을 것 같다" 를 근거로 쓰지 않는다. 이것은 대개 유사성 선호이고, 팀을 동질화한다. 필요하면 구체적으로 어떤 협업 행동을 봤는지 로 바꿔 적는다

마지막 항목이 실무에서 가장 자주 나타나는 편향이다. QA 조직은 다양한 관점이 품질을 만드는 조직인데, 동질화는 그 반대로 간다.

지원자 경험도 산출물이다

전형은 조직을 보여 주는 자리 이기도 하다. 그리고 QA 채용 시장은 좁아서 전형 경험이 빠르게 전해진다.

지켜야 할 최소선 넷이다.

1. 일정과 다음 단계를 미리 알려 준다
2. 약속한 시점에 결과를 알린다. 탈락 통보를 생략하지 않는다
3. 면접관이 지원자의 자료를 읽고 들어온다. 읽지 않은 것이 드러나면 신뢰를 잃는다
4. 질문에 답한다. 전형은 양방향이고, 지원자도 평가하고 있다

채용 후 되돌아보기

채용 설계는 결과로 검증 해야 개선된다. 입사 6개월 뒤에 되돌아볼 질문 넷이다.

• 전형에서 본 역량과 실제 업무에서 드러난 역량 이 일치했는가
• 전형에서 보지 못해 놓친 것 이 있었는가 → 다음 전형에 단계·질문을 추가
• 과도했던 요건이 있었는가 → 공고를 줄인다
• 탈락시킨 지원자 중 기준이 잘못 적용된 경우 가 있었는가

네 번째는 확인하기 어렵지만, 기록이 남아 있으면 판정 근거를 다시 읽어 보는 것 만으로도 기준의 문제가 보인다. 이것이 평가 기록에 근거를 적는 또 하나의 이유다.

실무에서 왜 필요한가

QA 리드가 처음 채용을 맡으면 대개 공고를 쓰는 일 로 시작하고, 면접은 자유 대화로 흐른다. 그 결과는 둘 중 하나다 — 면접관마다 다른 결론이 나와 결정이 늦어지거나, 인상으로 결정해 입사 후에 기대와 다른 것을 발견한다.

설계가 있으면 둘 다 줄어든다. 역량을 행동으로 쪼개 두면 평가가 수렴하고, 단계마다 탈락 기준이 있으면 결정이 빠르고, 기록에 근거가 있으면 개선이 가능하다.

그리고 요건을 줄이는 작업 이 생각보다 큰 효과를 낸다. 반드시 있어야 할 것을 셋으로 줄이면 모집단이 넓어지고, 좁은 QA 채용 시장에서 그것이 결정적이다.

채용시장에서의 위치

이 역량은 Head of QA·QA 매니저 자리의 요구 사항 으로 직접 나타난다 — "조직 빌딩", "채용", "팀 성장". 그리고 면접에서 역으로 물어온다. "QA 를 채용한다면 어떤 전형을 설계하시겠습니까."

이 질문에 "경력과 기술 스택을 보고 코딩 테스트를 봅니다" 라고 답하면 약하다. 첫 6개월에 맡을 일에서 역량을 역산하고, 역량을 행동으로 쪼개고, 단계별로 배치하고, 면접관 기준을 합의하는 자리를 둔다 고 답하면 설계할 수 있는 사람으로 읽힌다. 모듈 60(교육·코칭 설계) 과 함께 조직을 만들 수 있는 사람의 묶음이 된다.

실습 과제

과제 1 — 빈 자리의 모양 정의서 (20분)

채용할 자리 하나를 설정하고 본문의 네 질문에 답한다. 특히 "반드시 있어야 할 것" 을 셋 이하로 줄인다. 줄이는 과정에서 뺀 항목들을 따로 적고, 각각을 "있으면 좋음" 또는 "들어와서 배워도 되는 것" 으로 분류한다. 마지막에 요건을 길게 적으면 어떤 지원자가 먼저 사라지는지 한 문단 쓴다.

과제 2 — 역량을 행동으로 쪼개고 단계에 배치 (30분)

과제 1 의 자리에 필요한 역량 5개를 고르고, 각각을 관찰 가능한 행동 3개 로 쪼갠다. 그 뒤 전형 단계(서류·사전 과제 또는 기술 대화·실무 면접·리더 면접) 에 배치한다. 한 역량이 두 단계에 걸치지 않게 하고, 각 단계에 탈락 기준 을 한 줄씩 적는다. 중복을 없앴더니 사라진 질문이 있으면 표시한다.

과제 3 — 사전 과제 설계와 대안 경로 (30분)

사전 과제를 하나 설계한다. 본문의 주제 네 가지 중 하나를 고르거나 직접 만든다.

• 과제 지문(지원자에게 그대로 주는 형태)
• 명시 소요 시간 과, 실제로 그 시간에 끝나는지 자신이 해 보고 확인한 결과
• 미리 알려 줄 평가 기준
• 제출물에 돌려줄 피드백 양식
• 대안 경로 설계(과제를 할 수 없는 지원자를 위한 기술 대화 + 작업물 설명)

마지막에 과제를 유일한 경로로 두면 역량과 무관한 어떤 변수가 끼어드는지 한 문단 쓴다.

과제 4 — 행동 수준 평가표와 기준 합의 (30분)

과제 2 의 행동 중 5개를 골라 미달·기준·초과 세 수준 으로 기술한다. 추상적 척도를 쓰지 않는다. 그 뒤 가상 지원자 답변 3개 를 만들어(미달 1, 기준 1, 애매한 것 1) 각각을 판정해 본다. 애매한 답변에서 기준이 갈리는 지점 을 찾아 평가표 문장을 고친다. 마지막에 기록 규칙 을 쓴다 — 판정과 함께 적을 근거의 형태를 정하고, "소통이 좋음" 같은 기록을 막는 규칙을 넣는다.

과제 5 — 편향 장치와 되돌아보기 설계 (20분)

본문의 편향 장치 다섯을 우리 전형에 어떻게 적용할지 각각 한 줄로 쓴다. "우리와 잘 맞을 것 같다" 를 쓰지 않기 위한 대체 기록 문장을 세 개 만든다. 이어서 입사 6개월 뒤 되돌아보기 질문 넷에 대한 확인 방법 을 설계한다. 네 번째(기준이 잘못 적용된 탈락) 를 확인하려면 무엇이 기록에 남아 있어야 하는지 적는다.

자가 체크리스트

• 이 레슨이 채용하는 쪽이며, 입사 후 교육과정은 모듈 60 의 범위임을 안다
• 잘못 뽑는 비용과 좋은 사람을 놓치는 비용이 모두 전형 설계에서 나온다는 것을 안다
• 채용 전 합의할 네 질문을 들 수 있다
• 요건을 길게 적으면 자신을 과소평가하는 좋은 지원자가 먼저 사라진다는 것을 안다
• "반드시 있어야 할 것" 을 셋 이하로 줄이는 연습의 효과를 설명할 수 있다
• 역량을 관찰 가능한 행동으로 쪼개야 평가할 수 있다는 것을 안다
• "모르는 것을 모른다고 말하고 확인 경로를 제시하는 행동" 이 왜 결정적인지 안다
• 전형 단계 배치의 세 원칙을 들 수 있다
• 단계마다 탈락 기준을 적지 않으면 느낌으로 결정된다는 것을 안다
• 사전 과제가 지원자의 무보수 시간을 쓴다는 점과 지켜야 할 선 다섯을 안다
• 명시 시간과 실제 소요가 다르면 선발이 여유 시간 측정이 된다는 것을 설명할 수 있다
• 실제 업무 산출물을 과제로 쓰면 무보수 노동이 된다는 것을 안다
• 과제를 유일한 경로로 두면 역량과 무관한 변수가 끼어든다는 것을 안다
• 평가표의 목적이 점수가 아니라 면접관 기준의 일치임을 설명할 수 있다
• 행동 수준 기술(미달·기준·초과) 을 쓸 수 있다
• 면접 전 기준 합의 자리가 필요한 이유를 안다
• 평가 기록에 판정만 적지 않고 근거가 된 말·행동을 적어야 하는 이유를 안다
• 편향을 줄이는 다섯 장치를 들 수 있다
• "우리와 잘 맞을 것 같다" 가 유사성 선호이며 팀을 동질화한다는 것을 안다
• 지원자 경험의 최소선 넷을 들 수 있다
• 채용 설계를 입사 6개월 뒤 결과로 되돌아봐 개선해야 함을 안다

흔한 실수

무엇을 뽑는지 합의하지 않고 시작한다. 면접관마다 다른 사람을 그리고 평가가 갈린다. 첫 6개월에 맡을 일에서 역산한다.

요건을 길게 적는다. 모집단이 줄고, 줄어드는 쪽은 자신을 과소평가하는 좋은 지원자다. "반드시" 를 셋 이하로 줄인다.

역량을 추상적으로 둔다. "테스트 설계 능력" 은 평가할 수 없다. 관찰 가능한 행동으로 쪼갠다.

같은 역량을 단계마다 다시 본다. 지원자의 시간을 쓰고 판별력은 올라가지 않는다.

단계별 탈락 기준을 적지 않는다. 결정이 느낌으로 흐르고, 나중에 설명할 수 없다.

과제 소요 시간을 과소 추정한다. 2시간이라 하고 8시간이 걸리면 여유 시간이 많은 사람을 뽑게 된다. 설계자가 직접 해 보고 재는 것이 유일한 확인 방법이다.

실제 업무 산출물을 과제로 낸다. 무보수 노동이 되고, 알려지면 조직의 평판에 직접 영향을 준다.

과제 평가 기준을 숨긴다. 무엇을 보는지 모르면 과제가 추측 게임이 되고, 좋은 지원자가 엉뚱한 방향에 시간을 쓴다.

제출물에 피드백을 돌려주지 않는다. 시간을 쓴 사람에 대한 응답이 없으면 전형 경험이 나빠지고, 좁은 시장에서 빠르게 전해진다.

과제를 유일한 경로로 둔다. 재직·육아·건강 사정이 좋은 지원자를 걸러낸다. 대안 경로를 둔다.

숫자 척도로 평가표를 만든다. 면접관마다 3의 의미가 다르다. 행동 수준으로 쓴다.

면접관 기준을 합의하지 않는다. 같은 답변에 다른 판정이 나오고, 결정이 논쟁이 된다.

평가 기록에 판정만 적는다. "소통이 좋음" 은 근거가 아니다. 비교·피드백·개선에 쓸 수 없고 편향이 끼어든다.

먼저 말한 사람의 판정에 수렴한다. 각자 기록한 뒤 논의하는 순서로 막는다.

"우리와 잘 맞을 것 같다" 를 근거로 쓴다. 대개 유사성 선호이고 팀을 동질화한다. 어떤 협업 행동을 봤는지로 바꿔 적는다.

탈락 통보를 생략한다. 전형은 조직을 보여 주는 자리이고, 이 경험은 전해진다.

채용 결과로 전형을 되돌아보지 않는다. 같은 설계로 같은 실수를 반복한다.

참고 자료

• 조직의 채용 절차·개인정보 처리 지침과 관련 법령 요건 — 질문할 수 있는 것과 없는 것, 기록 보관 기간은 법령과 사내 규정이 정한다(원문 확인)
• 조직의 직무 기술서 양식과 평가표 양식 — 인사 조직이 이미 틀을 갖고 있으면 그 안에서 설계한다
• 과거 전형의 평가 기록 — 기준이 갈렸던 지점이 다음 평가표의 개선점이 된다
• 모듈 42 레슨 8 — AI QA 채용 공고 해부: 지원하는 쪽의 관점. 함께 읽으면 양면이 보인다
• 모듈 44 레슨 1 — 인력 구성 선택: 채울 자리를 내부·외주·크라우드 중 무엇으로 할지
• 모듈 44 레슨 2 — QMO 설계: 조직 구조에서 이 자리가 어디에 놓이는가
• 모듈 60 레슨 1 — 학습 목표 설계: 역량을 행동으로 쓰는 같은 기법
• 모듈 60 레슨 2 — 사내 교육과정: 입사 후 90일의 설계. 이 레슨의 다음 공정
• 모듈 60 레슨 4 — 멘토링·코칭 제도: 입사자가 붙을 제도
• 모듈 32 레슨 8 — 모의 평가: 기준을 사람 사이에 일치시키는 같은 발상