개념
이 문서가 풀려는 문제
TS 4213의 서론은 기계학습의 발전이 흔히 기준 대비 성능 향상 으로 보고된다는 사실에서 출발한다. 서론이 드는 예는 이런 형태다. 새 모델이 어떤 데이터셋에서 97.8% 정확도를 냈는데 기존 최고 모델은 96.2% 였다, 같은 정확도를 훨씬 적은 학습 데이터로 냈다, 같은 정확도로 100배 빠르게 추론한다.
시험 담당자는 이런 문장을 받으면 질문이 여러 개 떠올라야 한다. 두 모델은 같은 시험셋 에서 쟀는가? 1.6%p 차이는 표본 운 으로 설명되지 않는가? 시험셋이 학습 과정에 새어 들어가지 않았는가? 정답 레이블은 누가 어떻게 붙였는가? 정확도가 이 문제에서 맞는 지표 인가?
TS 4213은 이 질문들을 평가 설계의 통제 기준, 지표 정의, 통계 검정, 보고 요건 으로 정리한 문서다. 모듈 18b 레슨 11에서 혼동 행렬과 정밀도·재현율을 배웠다면, 이 레슨은 그 지표들을 다른 사람이 믿을 수 있게 산출하고 보고하는 절차 다. 레슨 2의 25058이 기능 정확성 평가에서 이 문서를 규범적으로 인용했다.
문서 구조
5 일반 원칙 5.1 분류 성능 평가의 일반 프로세스
5.2 평가의 목적
5.3 통제 기준 (일반 절 + 13개 항목)
6 통계적 성능 측정 6.2 기본 요소 6.3 이진 6.4 다중 클래스 6.5 다중 레이블 6.6 연산 복잡도
7 유의성 검정 7.2~7.9 검정 방법 7.10 다중 비교 보정
8 보고
부속서 A 다중 클래스 예시 · B ROC 곡선 예시 · C 벤치마크 시험 요약 정보 · D 우연 보정 지표 예5장이 설계, 6장이 측정, 7장이 판단, 8장이 보고다. 모듈 31의 성적서 구조(범위 → 환경 → 판정 기준 → 통계 → 보고)와 순서가 같다는 점을 보자.
통제 기준 열세 가지 — 결과를 비교 가능하게 만드는 조건
5.3절의 통제 기준은 "이 조건들이 기록되고 통제되지 않으면 두 성능 수치를 비교할 수 없다" 는 목록이다.
| 통제 기준 | 시험 설계에서 확인할 것 | 흔한 사고 |
|---|---|---|
| 데이터 대표성과 편향 | 시험 데이터가 운영 대상 모집단을 대표하는가 | 수집이 쉬운 부분만 모인 데이터 |
| 전처리 | 학습과 평가에 같은 전처리를 적용했는가, 전처리가 평가 데이터를 보고 만들어지지 않았는가 | 정규화 통계를 전체 데이터로 계산 |
| 학습 데이터 | 출처·기간·규모·레이블 분포 기록 | — |
| 시험·검증 데이터 | 학습과 분리, 모델 선택용(검증)과 최종 평가용(시험) 분리 | 시험셋으로 하이퍼파라미터 선택 |
| 교차 검증 | 폴드 구성 방식(층화·그룹·시간 순) | 같은 환자의 이미지가 여러 폴드에 흩어짐 |
| 정보 누설 제한 | 평가 데이터 정보가 학습에 흘러들지 않게 | 중복·근사 중복 샘플, 미래 정보 사용 |
| 채널 효과 제한 | 데이터 수집 경로(장비·기관·센서)가 레이블과 엮여 모델이 경로를 학습하지 않게 | 병원 A 장비 = 양성 다수 → 장비 표식 학습 |
| 정답(ground truth) | 레이블의 정의·부여 방법·검증 | 단일 라벨러, 기준 불명확 |
| 알고리즘·하이퍼파라미터·파라미터 | 재현에 필요한 설정 기록 | 난수 시드 미기록 |
| 평가 환경 | 하드웨어·소프트웨어·라이브러리 버전 | 추론 라이브러리 버전 차이 |
| 가속 | 가속기·양자화·최적화 적용 여부 | 양자화 모델과 원 모델 성능 혼동 |
| 적절한 기준선 | 무엇과 비교하는가 | 약한 기준선과만 비교 |
| 분류 성능의 맥락 | 성능 수치가 나온 과업·조건 | 조건 없는 수치 인용 |
(표에는 5.3.1 일반 절을 제외한 13개 항목을 실었다.)
이 중 채널 효과 는 이 레슨에서 처음 보는 개념이다. 모델이 과업의 신호가 아니라 데이터가 들어온 경로의 흔적 을 학습하는 현상이다. 모듈 29에서 네트워크 조건이 테스트 결과를 오염시키는 것을 봤다면, 여기서는 수집 경로가 정답과 상관된 가짜 신호 를 만든다. 시험 설계에서는 수집 경로별로 성능을 따로 내 보는 것이 가장 빠른 확인법이다. 경로 하나를 빼고 학습·평가했을 때 성능이 크게 떨어지면 채널 효과를 의심한다.
정보 누설 은 가장 흔하고 가장 결과를 부풀린다. 레슨 2에서 학습·검증·시험을 다른 데이터로 구성하라고 했는데, "다른 데이터"는 무작위 분할만으로 보장되지 않는다.
누설 유형 확인 방법
──────────────────────── ─────────────────────────────────────
근사 중복 해시·임베딩 유사도로 학습↔시험 근접 쌍 탐지
같은 개체의 다른 샘플 개체 ID 기준 그룹 분할 (환자·고객·기기)
시간 누설 시험 기간 이후 정보가 학습 특성에 포함되는가
전처리 누설 전체 데이터로 계산한 통계·어휘사전
레이블 누설 레이블을 만든 규칙의 입력이 특성에 포함지표 — 이진·다중 클래스·다중 레이블·연산 복잡도
6장은 지표를 문제 유형별로 정리한다. 기본 요소(혼동 행렬, 정확도, 정밀도·재현율·특이도, F1, Fβ)는 모듈 18b 레슨 11에서 다뤘으니, 여기서는 추가로 나오는 것과 고르는 기준 에 집중한다.
이진 분류 — ROC 곡선과 AUC, 정밀도-재현율(PR) 곡선과 그 면적, 누적 반응 곡선, 리프트 곡선이 추가된다. 선택 기준은 클래스 불균형과 쓰임새 다.
| 상황 | 우선 볼 지표 | 이유 |
|---|---|---|
| 양성이 매우 드묾(사기·결함) | PR 곡선·PR 면적, 재현율·정밀도 | ROC-AUC는 음성이 많으면 낙관적으로 보인다 |
| 임계값을 아직 정하지 않음 | ROC·PR 곡선 전체 | 임계값별 교환을 보여줘야 컷오프 합의가 가능(레슨 2) |
| 상위 N개만 조치(캠페인·검수 대상 선정) | 누적 반응·리프트 | "상위 10%에서 무작위 대비 몇 배 찾는가" |
다중 클래스 — 정확도와 함께 평균 방식 이 핵심이다.
매크로 평균 클래스별 지표를 구해 단순 평균 → 소수 클래스를 똑같이 대접
가중 평균 클래스별 지표를 표본 수로 가중 평균 → 실제 분포 반영, 소수 클래스 약점이 가려짐
마이크로 평균 전체 TP·FP·FN을 합쳐 계산 → 단일 레이블 다중 클래스에서는 정확도와 같아짐같은 모델이 매크로 F1 0.71, 가중 F1 0.89로 나올 수 있다. 어느 평균을 썼는지 적지 않은 F1은 보고서에서 의미가 없다. 분포 차이·거리 지표(예측 분포와 실제 분포의 차이)도 이 절에 있고, 기본 요소 절에는 쿨백-라이블러 발산이 포함된다.
다중 레이블 — 한 샘플에 레이블이 여러 개 붙는 문제다(문서 태그, 이미지 속 여러 객체 속성).
| 지표 | 뜻 | 엄격함 |
|---|---|---|
| 해밍 손실 | 전체 레이블 칸 중 틀린 칸 비율 | 느슨 |
| 정확 일치 비율 | 모든 레이블이 정확히 맞은 샘플 비율 | 매우 엄격 |
| 자카드 지수 | 예측 집합과 정답 집합의 교집합/합집합 | 중간 |
연산 복잡도 — 분류 지연(latency), 처리량(throughput), 효율, 에너지 소비 가 성능 평가의 일부로 정의된다. 서론의 "100배 빠르다"는 주장이 여기서 측정 대상이 된다. 모듈 16에서 배운 성능 테스트 원칙 — 워밍업, 반복, 백분위 — 을 그대로 쓰되, 통제 기준의 "가속"과 "평가 환경" 을 함께 기록해야 비교가 성립한다.
유의성 검정 — 1.6%p는 진짜 차이인가
7장은 두 모델(또는 여러 모델)의 성능 차이가 우연인지 판단하는 검정 방법을 정리한다. 이름이 여럿 나오지만 데이터의 짝 구조와 지표의 형태 로 고르면 된다.
| 상황 | 검정 | 이유 |
|---|---|---|
| 같은 시험셋 에서 두 분류기의 맞음/틀림 비교 | McNemar 검정 | 샘플마다 짝지어진 이진 결과. 한쪽만 맞은 샘플 수로 판단 |
| 같은 폴드들에서 두 모델의 점수 비교 | 짝 t 검정 / Wilcoxon 부호 순위 검정 | 짝지어진 연속값. 정규성이 의심되면 Wilcoxon |
| 셋 이상 모델의 점수 비교 | 분산 분석 / Kruskal-Wallis | 모수·비모수 |
| 범주형 결과 분포 비교 | 카이제곱 / Fisher 정확 검정 | 표본이 작으면 Fisher |
서론의 97.8% 대 96.2%로 McNemar를 적용하는 사고 흐름은 이렇다.
시험셋 1,000개
모델 B 맞음 모델 B 틀림
모델 A 맞음 950 28 ← A만 맞음 b = 28
모델 A 틀림 12 10 ← B만 맞음 c = 12
A 정확도 = (950+28)/1000 = 97.8% B 정확도 = (950+12)/1000 = 96.2%
McNemar 는 b 와 c 만 본다: 둘 다 맞거나 둘 다 틀린 972개는 차이에 대해 아무 말도 안 한다
χ² (연속성 보정) = (|28 − 12| − 1)² / (28 + 12) = 225 / 40 = 5.63 → 자유도 1 에서 p ≈ 0.018같은 1.6%p라도 b = 20, c = 4 처럼 불일치 샘플이 적으면 결론이 달라질 수 있고, 두 모델을 서로 다른 시험셋 에서 쟀다면 이 검정 자체를 쓸 수 없다. "같은 시험셋"이 통제 기준에서 가장 먼저 확인되어야 하는 이유다. 모듈 18b 레슨 5에서 비결정적 출력을 반복 측정으로 판단했다면, 여기서는 같은 입력에 대한 두 모델의 짝 비교 로 판단한다.
다중 비교 보정. 모델 열 개를 기준선과 각각 비교하면 유의수준 0.05에서도 우연히 하나쯤은 "유의"하게 나올 수 있다. 7.10절은 Bonferroni 보정(유의수준을 비교 횟수로 나눔)과 거짓 발견율(FDR) 제어를 다룬다. 하이퍼파라미터 조합 수십 개 중 가장 좋은 것을 골라 "유의하게 좋다"고 보고하는 것은 이 절이 막으려는 전형적인 실수다.
보고 — 무엇이 적혀야 재현 가능한가
8장의 보고 요건을 성적서 서식으로 옮기면 모듈 31의 구조와 거의 겹친다. 핵심은 5.3 통제 기준 각각이 보고서의 한 칸 이 된다는 점이다.
[분류 성능 평가 보고]
1. 과업과 목적 분류 문제 유형, 평가 목적(5.2), 성능의 맥락
2. 데이터 학습·검증·시험의 출처·기간·규모·레이블 분포, 대표성 근거, 분할 방식(그룹·시간)
3. 누설·채널 통제 중복 제거 방법, 그룹 분할 기준, 수집 경로별 성능
4. 정답 레이블 정의, 부여 절차, 라벨러 간 일치도
5. 모델과 환경 알고리즘·하이퍼파라미터·시드, 하드웨어·라이브러리 버전, 가속·양자화
6. 기준선 비교 대상과 선택 이유
7. 지표 지표와 평균 방식, 임계값(있다면 합의 기록), 곡선
8. 불확실성과 검정 신뢰구간 산출 방법, 검정 방법과 선택 이유, 다중 비교 보정
9. 연산 복잡도 지연(백분위)·처리량·에너지와 측정 조건
10. 한계 대표성 한계, 평가하지 않은 조건모듈 32 레슨 4의 원자료 관점에서 보면, 이 보고서의 원자료는 시험 샘플별 예측값·확률·정답 이다. 요약 지표만 남기면 나중에 다른 평균 방식이나 다른 검정을 요구받았을 때 다시 계산할 수 없다. 샘플별 예측 파일을 모델 버전·데이터셋 버전과 함께 보존한다.
실무에서 왜 필요한가
AI 제품 조달과 도입 평가에서 벤더가 제시하는 성능 수치는 대부분 이 문서의 통제 기준 몇 개가 빠진 채로 온다. 어떤 시험셋인지, 누설 통제는 했는지, 어떤 평균인지, 차이가 유의한지가 없다. 모듈 24 레슨 3에서 벤더 주장을 교차검증하는 태도를 배웠는데, TS 4213은 그 교차검증의 질문 목록을 표준으로 준다. "4213의 5.3 통제 기준 기준으로 보고서를 달라"는 요청 한 줄이 협상의 수준을 바꾼다.
내부 모델 개선에서도 쓰인다. 실험 수십 번 끝에 0.5%p 좋아진 모델을 배포할지 결정할 때, 같은 시험셋에서의 짝 검정과 다중 비교 보정 없이 배포하면 실제로는 차이가 없는 교체 에 배포 위험만 떠안는다.
시험소 입장에서는 이 문서가 AI 성능 시험을 KOLAS 성적서 형식에 올릴 수 있는 방법서 가 된다. 통제 기준이 시험 환경 기재, 정답 정의가 시험품 식별, 유의성 검정이 결정 규칙, 보고 요건이 7.8 기재 항목에 대응한다.