개념
실습을 넣었는데도 "해 봤다"로 끝나는 이유
과정 설계를 한 번 해 본 사람은 실습의 중요성을 안다. 그래서 실습을 넣는다. 그런데 많은 실습이 이렇게 끝난다.
"자, 각자 테스트 케이스를 한번 작성해 보세요. 20분 드릴게요." (20분 뒤) "다 하셨나요? 네, 그럼 제가 작성한 예시를 보여 드릴게요."
여기서 학습자가 얻는 것은 "내가 쓴 것과 강사의 것이 다르다"는 느낌뿐이다. 어디가 왜 틀렸는지, 통과 수준인지 아닌지, 다음에 무엇을 고쳐야 하는지가 없다. 실습이 있었지만 평가는 없었다.
평가가 없는 실습의 특징은 셋이다.
- 제출물이 어디에도 남지 않는다(각자 노트에 쓰고 끝)
- 합격·불합격을 가를 기준이 없다
- 피드백이 "정답 공개" 한 번으로 대체된다
레슨 1 에서 목표를 "행동·조건·기준"으로 썼다면 평가는 거의 저절로 따라온다. 기준이 곧 채점 기준 이기 때문이다. 목표를 "이해한다"로 쓴 과정은 평가를 설계할 수 없고, 그래서 만족도 설문으로 도망간다.
평가 가능한 과제의 네 요소
실습 지시문을 쓸 때 이 네 칸이 다 채워지면 평가 가능한 과제다.
| 요소 | 묻는 것 | 빠지면 |
|---|---|---|
| 산출물 | 무엇을 제출 하는가(형식·분량 포함) | 제출물이 없어 채점할 대상이 없다 |
| 판정 기준 | 어디까지면 통과인가(관찰 가능한 서술 3~5개) | 채점이 채점자 기분이 된다 |
| 피드백 시점 | 누가 언제 무엇을 돌려주는가 | 틀린 채로 굳는다 |
| 조건 | 무엇을 주고 무엇은 안 주는가, 시간은 얼마인가 | 난이도가 사람마다 달라져 비교가 안 된다 |
앞 레슨들의 과제 지시문이 이 형식으로 쓰여 있다. "제약: 첫 기여 산출물이 4주차 안에 들어가야 한다"가 판정 기준이고, "25분"이 조건이다.
판정 기준을 쓸 때 가장 중요한 요령은 세는 것이 하나는 있어야 한다 는 점이다. "결정표에 불가능 조합 표시 누락 0건", "질문 20개 이상", "반려 없이 통과". 셀 수 있는 기준이 하나 있으면 나머지 질적 기준의 해석 폭이 좁아진다.
지식 확인과 수행 확인은 다르다
평가 방법을 고를 때 가장 자주 하는 실수는 수행 목표를 지식 문제로 재는 것 이다.
| 구분 | 지식 확인 | 수행 확인 |
|---|---|---|
| 재는 것 | 알고 있는가 | 실제로 해내는가 |
| 형태 | 서술·열거·선택, 구술 질문 | 산출물 제작, 실제 작업, 시연 |
| 비용 | 싸다, 자동 채점 가능 | 비싸다, 사람이 읽어야 한다 |
| 쓸 자리 | 사실·용어·규칙처럼 틀리면 바로 문제가 되는 것 | 목표의 동사가 작성·설계·판정·진단일 때 |
| 오용 예 | "루브릭의 정의는?" 으로 루브릭 작성 능력을 재기 | 용어 20개 암기를 산출물 과제로 재기(낭비) |
규칙은 단순하다. 목표의 동사가 평가의 형태를 결정한다. 목표가 "작성할 수 있다"면 작성물을 받아야 하고, "열거할 수 있다"면 열거를 받으면 된다. 목표가 "판정할 수 있다"면 판정 대상 을 주고 판정 결과와 근거를 받는다 — 이것이 QA 교육에서 가장 자주 필요한 형태인데 가장 드물게 쓰인다.
지식 확인이 쓸모없다는 뜻은 아니다. 조직 고유 규칙(심각도 기준, 릴리스 게이트 조건, 티켓 필수 필드)은 틀리면 바로 사고 로 이어지므로 짧은 지식 확인이 효율적이다. 이 커리큘럼에 퀴즈 컴포넌트가 없는 이유도 같은 판단에서다 — 우리가 가르치는 대부분의 목표가 수행 목표이기 때문이다.
루브릭 만들기
루브릭은 차원(무엇을 보는가) × 수준(얼마나 잘 됐는가) 의 표다. 산출물 과제를 쓰기로 했으면 루브릭 없이 운영하지 않는다. 없으면 채점자가 둘일 때 결과가 갈리고, 한 명일 때는 오전과 오후가 갈린다.
만드는 순서는 거꾸로다.
- 아주 잘된 제출물 하나와 안 된 것 하나를 먼저 떠올린다(또는 과거 산출물에서 고른다)
- 둘의 차이를 말로 적는다 — 이 문장들이 차원 후보다
- 차원을 3~5개로 줄인다. 많으면 채점이 안 된다
- 각 차원마다 수준을 3~4단계로 기술한다. 형용사가 아니라 관찰 가능한 사실 로 쓴다
- 샘플 2~3개를 그 루브릭으로 실제 채점해 보고 고친다
4번이 루브릭의 성패를 가른다. 가장 흔한 실패는 형용사 루브릭 이다.
[나쁜 루브릭]
우수: 테스트 케이스가 매우 적절하고 충실하다
보통: 테스트 케이스가 대체로 적절하다
미흡: 테스트 케이스가 부족하다
→ "적절"의 기준이 없어 채점자가 셋이면 결과가 셋이다[고친 루브릭] 차원: 조건 조합 커버리지
통과: 명세의 조건 4개를 모두 식별했고, 불가능 조합을 표시했으며,
선택한 조합 기법(결정표/페어와이즈)의 근거를 한 문장으로 적었다
보완: 조건은 모두 식별했으나 불가능 조합 표시 또는 기법 근거 중 하나가 빠졌다
미달: 식별하지 못한 조건이 있다수준 이름은 "우수·양호·보통·미흡"처럼 네 단계를 쓰기도 하지만, 사내 과정에서는 통과·보완·미달 3단계 가 운영하기 쉽다. 점수를 매기는 것이 목적이 아니라 다시 할 것을 정하는 것 이 목적이기 때문이다. "보완"은 "무엇을 고쳐 다시 제출하라"로 바로 번역된다.
루브릭은 과제 지시문과 함께 미리 공개 한다. 숨기는 것이 공정하다고 착각하기 쉽지만, 루브릭을 미리 주는 쪽이 학습 효과가 크다. 루브릭이 곧 "무엇에 신경 써야 하는가"의 목록이고, 그것을 알려 주는 것이 교육이다. 숨겨야 하는 평가는 선발이고, 교육의 평가는 선발이 아니다.
피드백 시점 — 틀린 채로 굳기 전에
같은 피드백도 시점에 따라 효과가 다르다. 설계에서 정할 것은 세 가지다.
- 언제 — 절차적 기술(도구 조작, 티켓 작성 규칙)은 즉시가 좋고, 판단이 필요한 산출물(테스트 설계, 전략)은 본인이 충분히 씨름한 뒤가 좋다. 너무 빠른 개입은 생각할 기회를 빼앗는다
- 누가 — 강사 전부를 혼자 감당하면 과정이 운영되지 않는다. 자기 채점 → 동료 채점 → 강사 확인 순으로 층을 쌓는다. 루브릭이 있으면 자기 채점이 실제로 작동한다
- 재제출이 있는가 — 없으면 피드백은 성적표고, 있으면 학습이다. 사내 과정에서는 "보완 후 재제출 1회"를 기본으로 두는 편이 거의 항상 낫다
동료 채점은 두 가지 이득이 있다. 채점하는 쪽이 루브릭을 내재화하고, 다른 사람의 산출물을 보는 것 자체가 학습이다. 리드 후보 트랙에서는 동료 채점이 곧 리뷰 훈련 이다(모듈 43 레슨 2 의 리뷰 기준을 루브릭으로 쓰면 그대로 이어진다).
교육 효과를 어떻게 보는가 — 만족도의 함정
교육이 끝나면 설문을 돌린다. "강의 내용이 유익했습니까?" 평균 4.3/5. 보고서에 올린다. 이 수치의 문제는 거짓이라는 것이 아니라 다른 것을 재고 있다 는 것이다.
만족도는 강사의 전달력·목소리·슬라이드 완성도·간식과 상관이 높다. 그리고 쉬운 과정이 만족도가 높다. 어렵게 설계해 수료율을 낮춘 과정은 만족도가 떨어진다. 만족도만 보는 조직에서 교육 담당이 최적화하게 되는 방향은 "편안한 교육"이고, 그것은 목표와 반대다.
만족도를 버리라는 말은 아니다. 만족도는 중단율의 선행 지표 로 쓸모가 있고, "자료를 미리 받지 못했다", "실습 시간이 부족했다" 같은 운영 결함을 잡는다. 문제는 그것만 재는 것이다.
커크패트릭 4단계 — 어디까지 실제로 잴 수 있는가
Donald Kirkpatrick 이 정리한 4단계 모델은 교육 평가에서 가장 널리 쓰이는 틀이다. 단계 이름과 구성은 널리 알려져 있고, 이후 유족·동료가 정리한 개정판("New World" 모델)과 금전적 수익을 다섯 번째 수준으로 올린 확장(Phillips 의 ROI 접근)도 있다 — 개정판의 세부 구성을 인용할 때는 원문 확인 이 필요하다.
| 단계 | 무엇을 재나 | 실제 측정 수단 | 난이도 | QA 교육에서의 예 |
|---|---|---|---|---|
| 1 반응(Reaction) | 어떻게 느꼈나 | 종료 설문, 중도 이탈률 | 쉽다 | 만족도 4.3/5, 실습 시간 부족 의견 7건 |
| 2 학습(Learning) | 할 수 있게 됐나 | 수료 과제 채점(루브릭), 사전·사후 수행 비교 | 중간 | 결정표 과제 통과율 1차 62% → 재제출 후 94% |
| 3 행동(Behavior) | 현장에서 하고 있나 | 실제 산출물 표본 점검, 리드 관찰, 티켓·리뷰 데이터 | 어렵다 | 교육 수료자 티켓의 재현 절차 누락률 추적 |
| 4 결과(Results) | 조직 지표가 바뀌었나 | 품질·효율 지표(결함 유출, 반려율, 리드타임) | 매우 어렵다 | 결함 반려율 분기 대비 변화 |
여기서 솔직할 부분이 있다. 3단계와 4단계는 실무에서 깔끔하게 재기 어렵다. 이유는 두 가지다.
- 귀인(歸因)이 안 된다. 분기 결함 반려율이 떨어졌을 때 그것이 교육 때문인지, 템플릿을 동시에 고쳤기 때문인지, 그 분기 릴리스가 단순했기 때문인지 분리할 수 없다. 사내 교육에 대조군을 두는 것은 대개 불가능하고(같은 팀 절반만 교육을 안 받게 할 수 없다), 무작위 배정은 더 불가능하다
- 지연이 길다. 행동 변화는 보통 1~3개월 뒤에 보이고, 그때쯤 교육 담당자는 다음 과정을 돌리고 있다
그래서 현실적인 설계는 이렇다.
- 1·2단계는 반드시 잰다. 2단계(수료 과제 통과율)가 핵심이다. 루브릭이 있으면 공짜로 나온다
- 3단계는 표본으로 잰다. 전수는 포기한다. 수료자 각 1명당 실제 산출물 3건을 교육 뒤 6~8주에 뽑아 루브릭으로 채점한다. 20명 과정이면 60건, 하루면 끝난다
- 4단계는 "교육 효과"라고 주장하지 않는다. 지표는 추적하되 "교육 후 이 지표를 같이 본다" 로 쓴다. 인과를 주장하는 순간 반박당하고, 반박당하면 교육 예산이 줄어든다
- 기준선을 교육 전에 뜬다. 이것 하나만 지켜도 측정의 절반은 해결된다. 사후에 기준선을 복원하려 하면 늘 실패한다
4번을 다시 강조할 이유가 있다. 교육 전에 "현재 수료 대상자들의 티켓 반려율은 18%"를 적어 두는 데 드는 시간은 30분인데, 교육이 끝난 뒤에는 그 숫자를 만들 방법이 없다. 레슨 1 의 성과 분석 A4 한 장에 기준선 칸을 넣어 두는 것 이 이 문제의 실질적인 해법이다.
측정 설계 한 장
과정을 설계할 때 평가·측정 계획을 이 형식으로 한 장에 적어 둔다.
목표 목록(레슨 1) → 각 목표의 평가 방법(지식 확인 / 수행 확인)
수료 판정 규칙 예: 과제 3개 중 2개 통과 + 핵심 과제 1개 필수 통과
루브릭 차원 3~5개 × 통과·보완·미달
재제출 정책 보완 1회, 기한 2주
기준선(교육 전) 지표명·현재값·측정 방법·측정일
3단계 표본 점검 대상 수·뽑는 시점(6~8주 후)·채점 루브릭·채점자
같이 보는 조직 지표 지표명·확인 주기 (인과를 주장하지 않는다고 명시)"수료 판정 규칙"을 미리 적지 않으면 1기 종료 시점에 즉흥으로 정하게 되고, 그러면 거의 전원 수료가 된다. 아무도 떨어지지 않는 과정은 평가가 없는 과정과 같다.
실무에서 왜 필요한가
QA 조직에서 교육의 예산과 시간은 매번 재협상된다. 재협상 자리에서 교육 담당이 들고 갈 수 있는 근거가 만족도 4.3/5 하나라면, 그 교육은 분기 사정이 나빠지는 순간 제일 먼저 잘린다. 반면 "수료 과제 통과율 94%, 수료 6주 뒤 티켓 표본 60건의 재현 절차 누락률이 18%에서 5%로" 를 들고 가면 대화의 성격이 달라진다. 이 둘의 차이는 교육의 질이 아니라 평가를 설계했는지 의 차이다.
평가 설계는 학습자 쪽에도 직접 이득이다. 루브릭을 미리 받은 사람은 무엇에 신경 써야 하는지 알고, 보완 후 재제출 기회가 있는 사람은 피드백을 방어하지 않고 받아들인다. 반대로 기준 없이 "정답 공개"로 끝나는 실습은 잘한 사람조차 자기가 잘했는지 모른 채 끝난다.
그리고 평가를 설계하면 과정의 결함이 드러난다. 특정 과제의 통과율이 1차 30%라면 그 차시의 설명이 부족했거나 과제가 과한 것이다. 통과율이 100%면 그 과제는 아무것도 확인하지 않는다. 이 두 신호가 다음 기 개정 목록의 가장 정직한 입력값이고, ADDIE 의 평가 단계가 실제로 산출해야 하는 것이다.