의료 AI 판독 성능 — 민감도·특이도·AUROC 를 판정에 쓰는 법

개념

정확도는 거의 항상 틀린 지표다

의료 AI 판독 모델의 성능을 "정확도 97%" 로 보고하는 경우가 있다. 그 숫자가 왜 쓸 수 없는지 숫자로 보면 분명하다.

유병률이 1% 인 질환을 선별하는 상황을 가정한다. 1,000명 중 환자가 10명이다.

[모델 A] 아무도 환자로 판정하지 않는다 — "전부 정상"
  정확도 = 990/1000 = 99.0%
  환자 10명 전부 놓침

정확도 99% 이고 아무 쓸모가 없다. 유병률이 낮을수록 "전부 정상" 이 높은 정확도를 받는다. 그래서 의료 AI 평가에서 정확도는 보고 지표로 쓰지 않는다.

필요한 것은 두 방향을 따로 보는 지표 다.

민감도와 특이도 — 두 방향

                   실제 환자            실제 정상
  모델: 환자    진양성(TP)           위양성(FP)
  모델: 정상    위음성(FN)           진음성(TN)
 
  민감도(sensitivity)  = TP / (TP + FN)   환자를 환자로 찾아내는 비율
  특이도(specificity)  = TN / (TN + FP)   정상을 정상으로 두는 비율

레슨 1 의 구조가 다른 모듈에서 반복해 나온 것과 같다 — 모듈 41 레슨 9 의 오탐·미탐, 모듈 65 레슨 1 의 미검출·오검출. 같은 2×2 이고 같은 교환 관계 다.

의료에서 특별한 것은 두 방향의 결과가 비대칭 이라는 점이다.

그래서 어느 쪽을 더 피할 것인가 가 질환과 용도에 따라 다르다. 선별 검사는 놓침을 더 피하고(민감도 우선), 확진 보조는 과다 판정을 더 피한다 (특이도 우선). 이 판단은 임상이 하고 QA 가 하지 않는다. QA 의 일은 어느 쪽을 우선하기로 했는지가 문서에 있는지 확인하고, 양쪽을 함께 측정해 보고하는 것 이다.

유병률이 예측값을 바꾼다

이것이 의료 AI 평가에서 가장 자주 오해되는 지점이다.

민감도와 특이도는 환자 집단과 정상 집단 안에서 계산 되므로 유병률에 영향받지 않는다. 그런데 임상에서 실제로 쓰이는 질문은 다르다.

"모델이 환자라고 했는데, 정말 환자일 확률이 얼마인가?"

이것이 양성예측도(PPV) 이고, 유병률에 강하게 의존한다. 공개 자료가 반복해 지적하는 성질이다.

숫자로 보면 분명하다. 민감도 90%, 특이도 95% 인 모델이 있다.

[유병률 10%] 1,000명 중 환자 100명
  TP = 90,  FP = 45   →  PPV = 90/135 ≈ 66.7%
 
[유병률 1%]  1,000명 중 환자 10명
  TP = 9,   FP = 49.5 →  PPV = 9/58.5 ≈ 15.4%

같은 모델인데 PPV 가 66.7% 에서 15.4% 로 떨어진다. 유병률만 바뀌었다.

이것이 QA 작업에 주는 함의가 크다.

1. 개발 데이터의 유병률과 실사용 환경의 유병률이 다르면 체감 성능이 전혀 다르다. 개발 데이터는 환자를 모아 만드는 경우가 많아 유병률이 높고, 선별 현장은 낮다
2. PPV·NPV 를 보고할 때는 유병률을 함께 적어야 한다. 유병률 없는 PPV 는 해석할 수 없다
3. 배포 환경이 바뀌면 PPV 가 바뀐다. 상급 병원과 1차 의료기관의 유병률이 다르고, 선별과 확진의 유병률이 다르다

QA 가 확인할 질문이 분명해진다. "이 성능 수치는 어느 유병률 환경에서 측정된 것이고, 실사용 환경의 유병률은 얼마로 가정했습니까." 답이 없으면 그 자체가 지적 사항이다.

AUROC — 임계값과 무관한 지표

대부분의 판독 모델은 점수 를 내놓고, 그 점수를 임계값 과 비교해 양성·음성을 판정한다. 임계값을 낮추면 민감도가 오르고 특이도가 떨어진다.

AUROC 는 그 임계값 전체에 걸친 성능을 하나의 수로 요약한다 — 가능한 모든 임계값에서의 민감도와 (1−특이도) 를 그린 곡선 아래 면적이다. 공개 자료는 AUROC 가 외부 검증 연구에서 가장 많이 보고되는 평가 지표라고 전한다.

이점 — 임계값을 정하지 않고 모델 자체를 비교할 수 있다. 모델 A 와 B 를 같은 조건에서 비교하는 데 적합하다.

함정 — 그리고 이 함정이 QA 에게 중요하다.

첫 번째가 실무에서 가장 자주 문제가 된다. AUROC 0.95 를 근거로 승인 판단이 내려지는데, 실제 쓰는 임계값에서 민감도가 70% 일 수 있다. 그래서 AUROC 와 함께 "쓰려는 임계값에서의 민감도·특이도" 를 반드시 보고 한다.

두 번째도 중요하다. 선별 검사라면 고민감도 영역 의 곡선이 중요하고, 그 영역만 보면 두 모델의 순서가 바뀔 수 있다. AUROC 하나로 모델을 고르면 용도에 맞지 않는 모델을 고를 수 있다.

임계값은 임상 결정이다

이 레슨에서 QA 가 가장 분명히 해야 할 경계다.

임계값을 정하는 것은 "놓침과 과다 판정 중 무엇을 얼마나 받아들일 것인가" 를 정하는 일이고, 그것은 임상적·윤리적 판단 이다. 기술 최적화 문제가 아니다.

QA 가 하지 않는 일과 하는 일이 이렇게 갈린다.

마지막이 QA 의 고유 기여 다. 임계값 후보별로 민감도·특이도·PPV·NPV 를 표로 만들어 주면, 임상 담당이 그 표를 보고 판단할 수 있다. 결정을 대신하지 않으면서 결정을 돕는 것이 QA 의 자리다.

임계값이 코드에 하드코딩되어 있고 문서에 없는 경우 가 실제로 있다. 그러면 "누가 왜 이 값을 정했는가" 에 답할 수 없고, 인허가·심사에서 지적된다 (모듈 40 레슨 7 의 "판정 기준과 그 출처" 와 같은 문제).

보고해야 하는 것들의 묶음

정리하면, 의료 AI 판독 성능 보고에는 최소 다음이 함께 있어야 한다.

다섯 번째(신뢰구간) 가 자주 빠진다. 환자 50명으로 측정한 민감도 90% 와 환자 500명으로 측정한 90% 는 전혀 다른 신뢰도다. 신뢰구간이 없으면 두 모델 비교도, 목표 충족 판정도 할 수 없다.

모델 간 비교에서 특히 중요하다. 민감도 90% 와 92% 의 차이가 신뢰구간 안에 들어가면 차이가 있다고 말할 수 없다. 그 판정 없이 "B 가 더 좋다" 고 보고하면 잘못된 결정으로 이어진다.

정답을 무엇으로 삼는가

성능을 재려면 정답(기준 라벨) 이 필요하고, 의료에서 이것이 쉽지 않다.

세 번째의 판독자 간 불일치 가 핵심 문제다. 같은 영상을 두 전문의가 다르게 읽는 경우가 실재하고, 그러면 정답 자체가 흔들린다. 모델의 "오류" 중 일부가 실은 정답 라벨의 문제일 수 있다.

QA 가 확인할 것은 셋이다.

1. 정답을 무엇으로 정했는지 가 적혀 있는가
2. 판독자 간 일치도 가 측정되었는가. 낮으면 성능 수치의 상한이 제한된다
3. 불일치 건을 어떻게 처리했는가 — 제외했는가, 합의로 정했는가, 다수결인가

세 번째의 처리 방식이 결과를 바꾼다. 어려운 건(불일치가 난 건) 을 제외하면 성능이 높게 나온다. 그래서 제외 기준과 제외 비율 이 보고에 있어야 한다. 모듈 39 레슨 11, 모듈 63 레슨 3 에서 반복한 "설정이 숫자를 바꾼다" 와 같은 구조다.

판독자 보조 성능은 다른 질문이다

마지막으로 구분해야 할 것이 있다. 지금까지는 모델 단독 성능 이었다. 실제 임상에서는 대개 사람이 모델의 도움을 받아 판단한다. 그러면 질문이 바뀐다.

"모델이 정확한가" 가 아니라 "모델을 쓴 의사가 더 정확한가·더 빠른가" 다.

이것은 완전히 다른 측정이고, 모델 성능에서 유도되지 않는다. 모델이 정확해도 사람이 모델을 과신해 자기 판단을 접으면 결과가 나빠질 수 있고(자동화 편향), 모델이 틀렸을 때 사람이 그것을 걸러내지 못하면 단독 모델보다 나빠질 수도 있다.

공개 자료가 설명하는 다판독자 연구(multi-reader study) 가 이 질문을 다루는 설계이고, 모델 성능 평가와는 별도의 연구 다. QA 가 할 일은 그 평가가 계획에 있는지 확인하는 것 이고, 설계 자체는 레슨 3 이 다룬다.

모듈 단독 성능으로 임상적 이익을 주장하는 것 은 모듈 40 레슨 8 에서 다룬 세 층 구분 의 2층 증거로 3층을 주장하는 오류와 정확히 같다.

실무에서 왜 필요한가

의료 AI 기업·병원 조직에서 성능 보고가 잘못되는 전형적 경로가 넷 있다.

첫째, 정확도나 AUROC 하나로 보고한다. 유병률이 낮은 선별 환경에서 정확도는 무의미하고, AUROC 는 실제 쓰는 임계값의 성능을 알려 주지 않는다. "쓰려는 임계값에서 민감도가 얼마입니까" 라는 질문 하나 가 보고의 성격을 바꾼다.

둘째, PPV 를 유병률 없이 보고한다. 개발 데이터의 높은 유병률에서 나온 PPV 가 실사용 환경에서는 크게 떨어진다. 이것을 모르면 현장 도입 후 "오진이 너무 많다" 는 불만이 나오고, 모델이 바뀐 것이 아닌데 원인을 못 찾는다.

셋째, 신뢰구간 없이 모델을 비교한다. 민감도 90% 와 92% 의 차이를 개선으로 보고하는데, 표본이 작으면 그 차이가 우연일 수 있다. QA 가 신뢰구간을 요구하면 잘못된 교체 결정을 막는다.

넷째, 정답 라벨의 한계를 적지 않는다. 판독자 간 불일치가 있고 어려운 건을 제외했는데 그 사실이 보고에 없으면, 성능 수치가 실제보다 높게 읽힌다.

QA 의 가장 큰 기여는 임계값별 성능 표 다. 결정을 대신하지 않으면서 임상 담당이 판단할 재료를 주는 것이고, 이것을 만들어 주면 QA 가 성능 논의에 들어가게 된다.

채용시장에서의 위치

이 영역은 의료 AI 기업, 의료영상 솔루션 기업, 병원의 의료정보·AI 도입 조직, 그리고 의료기기 시험기관 의 QA·검증 자리다. 공고에는 "의료 AI 검증", "임상 성능", "의료영상", "SaMD", "인허가 대응" 같은 말이 적힌다.

특징은 통계 이해와 규제 이해가 함께 요구 된다는 점이다. 둘 중 하나만 있는 지원자가 많아서, 양쪽을 다루는 사람의 폭이 넓다. 그리고 모듈 40(의료기기 규제) 과 함께 익히면 묶음이 된다.

면접에서 가르는 질문이 분명하다. "정확도 97% 라는 보고를 받으면 무엇을 물어보시겠습니까." 유병률·민감도·특이도·임계값·표본 수를 묻겠다고 답하면 즉시 구분된다. 그리고 "AUROC 0.95 면 충분합니까" — 쓰려는 임계값에서의 성능과 곡선 모양을 묻겠다고 답하면 실무자로 읽힌다.

실습 과제

성능 목표 수치·임계값·허용 신뢰구간은 전부 "요구사항·임상 요구에서 확인 (원문 확인)" 으로 표시한다. 과제는 계산과 설계이며, 실제 환자 데이터를 쓰지 않는다.

과제 1 — 정확도의 함정 계산 (20분)

1. 유병률 5%, 1%, 0.1% 세 조건에서 "전부 정상" 모델의 정확도 를 각각 계산한다
2. 각 조건에서 놓치는 환자 수를 적는다(대상 10,000명 기준)
3. 유병률이 낮을수록 정확도가 높아지는 구조를 한 문단으로 설명한다
4. "정확도 97%" 보고를 받았을 때 물어볼 질문 8개 를 만든다
5. 정확도를 보고 지표로 쓰지 않는 이유를 한 문단으로 정리한다

과제 2 — 민감도·특이도와 비대칭 비용 (25분)

1. 2×2 표를 그리고 네 칸과 두 지표의 정의를 쓴다
2. 가상의 질환 3개를 설정하고(선별 대상 암, 응급 상황 판정, 만성질환 경과 관찰) 각각 어느 방향을 더 피해야 하는지 와 근거를 적는다. 근거는 임상적 결과 로 쓴다
3. 각 질환에 대해 위음성 1건의 결과 와 위양성 1건의 결과 를 구체적으로 적는다
4. 우선 방향을 QA 가 정하지 않는 이유를 한 문단 쓴다. QA 가 할 일(문서에 있는지 확인, 양쪽 측정·보고) 을 적는다
5. 이 구조가 모듈 41 레슨 9·모듈 65 레슨 1 과 같다는 것을 정리한다

과제 3 — 유병률과 예측값 계산 (30분)

1. 민감도 85%, 특이도 92% 인 모델을 가정하고 유병률 20%·10%·5%·1%·0.1% 다섯 조건에서 PPV 와 NPV 를 각각 계산한다. 대상 10,000명 기준
2. 결과를 표로 만들고 PPV 가 어떻게 변하는지 를 한 문단으로 설명한다
3. NPV 는 어떻게 변하는지도 적는다. PPV 와 반대 방향인 이유를 쓴다
4. 개발 데이터의 유병률이 높은 이유(환자를 모아 구성)와, 그것이 실사용 PPV 에 미치는 영향을 적는다
5. "이 성능 수치는 어느 유병률 환경에서 측정되었고 실사용 유병률은 얼마로 가정했습니까" 를 질의 문장으로 만든다. 답이 없으면 지적 사항인 이유를 쓴다
6. 배포 환경이 바뀔 때(상급 병원 → 1차 의료기관, 선별 → 확진) PPV 변화를 어떻게 예측해 전달할지 적는다

과제 4 — AUROC 의 함정 (25분)

1. AUROC 가 무엇을 요약하는지 자기 말로 쓴다
2. 본문의 네 함정 각각에 대해 구체적 예 를 만든다
3. 같은 AUROC 가 다른 곡선에서 나오는 경우 를 그림이나 표로 보인다. 선별 용도에서 어느 쪽이 나은지와 이유를 적는다
4. "AUROC 0.95" 보고를 받았을 때 물어볼 질문 5개를 만든다
5. AUROC 와 함께 반드시 보고할 것 을 목록으로 정리한다
6. AUROC 하나로 모델을 고르면 용도에 맞지 않는 모델을 고를 수 있는 경로를 쓴다

과제 5 — 임계값별 성능 표 (30분)

이 과제가 이 레슨의 핵심 산출물이다.

1. 가상의 모델 점수 분포를 설정하고(환자군·정상군 각각) 임계값 후보 7개 에 대해 민감도·특이도·PPV·NPV 를 계산한 표를 만든다. 유병률을 명시한다
2. 같은 표를 유병률 두 조건 에서 각각 만든다. PPV 열이 어떻게 달라지는지 적는다
3. 각 임계값의 임상적 의미 를 한 줄씩 적는다(놓침이 몇 명, 불필요한 추가 검사가 몇 명)
4. 이 표를 임상 담당에게 전달하는 문서 로 다듬는다. 결정을 대신하지 않으면서 판단 재료를 주는 형태로
5. 임계값이 코드에 하드코딩되고 문서에 없는 경우 를 어떻게 지적할지 쓴다. 모듈 40 레슨 7 의 "판정 기준과 그 출처" 와 연결한다
6. 임계값 변경 시 재검증 범위를 적는다

과제 6 — 보고 묶음과 신뢰구간 (25분)

1. 본문의 여덟 항목으로 성능 보고 양식 을 만든다
2. 신뢰구간 칸을 공들여 설계한다. 표본 수가 작을 때와 클 때의 차이를 구체적 예로 보인다
3. 민감도 90%(환자 50명) 와 92%(환자 500명) 를 비교하는 상황을 만들고, 차이가 있다고 말할 수 있는지 판정하는 절차를 쓴다
4. 신뢰구간 없이 모델 교체를 결정했을 때 생길 수 있는 일을 적는다
5. 표본 구성(환자 특성 분포) 을 적어야 하는 이유를 한 문단 쓴다. 특정 집단에 치우친 표본의 영향은 레슨 2 로 넘긴다

과제 7 — 정답 라벨 검토 (25분)

1. 본문의 네 정답 출처 각각의 장단점을 우리 상황에 맞춰 적는다
2. 판독자 간 불일치 가 성능 수치의 상한을 제한하는 구조를 설명한다
3. 불일치 처리 3방식(제외·합의·다수결) 각각이 성능 수치를 어느 방향으로 움직이는지 적는다
4. 어려운 건을 제외하면 성능이 높게 나오는 경로를 구체적으로 쓴다. 제외 기준과 제외 비율을 보고에 넣어야 하는 이유를 적는다
5. 정답 라벨 검토 질의 목록 을 만든다(정의·일치도·불일치 처리·제외 비율)

과제 8 (선택) — 단독 성능과 보조 성능 가르기 (15분)

1. 두 질문의 차이를 한 문단으로 쓴다
2. 자동화 편향 으로 보조 결과가 단독 모델보다 나빠질 수 있는 경로를 그린다
3. 모델 단독 성능으로 임상적 이익을 주장하는 것이 모듈 40 레슨 8 의 세 층 오류와 같다는 것을 정리한다
4. 다판독자 평가가 계획에 있는지 확인하는 질문을 쓴다. 설계는 레슨 3 으로 넘긴다

자가 체크리스트

• 유병률이 낮을 때 정확도가 쓸 수 없는 지표인 이유를 숫자로 보일 수 있다
• 민감도와 특이도의 정의를 쓰고 두 방향을 따로 보는 이유를 안다
• 위음성과 위양성의 의료적 결과가 비대칭이라는 것을 설명할 수 있다
• 어느 쪽을 우선할지는 임상 결정이며 QA 가 하지 않는다는 것을 안다
• 민감도·특이도가 유병률에 영향받지 않는 이유를 안다
• PPV 가 유병률에 강하게 의존하는 것을 계산으로 보일 수 있다
• 같은 모델의 PPV 가 유병률만으로 크게 달라지는 것을 설명할 수 있다
• 개발 데이터의 유병률이 높은 이유와 실사용 PPV 에 미치는 영향을 안다
• PPV·NPV 를 유병률 없이 보고하면 해석할 수 없다는 것을 안다
• 배포 환경이 바뀌면 PPV 가 바뀐다는 것을 알고 미리 전달할 수 있다
• AUROC 가 임계값 전체에 걸친 요약이며 모델 비교에 적합한 이유를 안다
• AUROC 의 네 함정을 들 수 있다
• AUROC 가 높아도 쓰는 임계값의 성능이 나쁠 수 있다는 것을 안다
• 같은 AUROC 가 다른 곡선에서 나올 수 있고 용도에 따라 순서가 바뀐다는 것을 안다
• 임계값 결정이 임상적·윤리적 판단이며 기술 최적화가 아님을 설명할 수 있다
• QA 가 임계값을 정하지 않고 임계값별 성능 표를 제공하는 것이 고유 기여임을 안다
• 임계값이 문서에 없고 코드에 있으면 지적 사항인 이유를 안다
• 성능 보고에 함께 있어야 하는 여덟 항목을 들 수 있다
• 신뢰구간 없이 모델을 비교하면 안 되는 이유를 설명할 수 있다
• 정답 라벨의 네 출처와 각각의 한계를 안다
• 판독자 간 불일치가 성능 수치의 상한을 제한한다는 것을 안다
• 불일치 처리 방식이 성능 수치를 움직이므로 제외 기준·비율을 보고해야 함을 안다
• 모델 단독 성능과 판독자 보조 성능이 다른 질문임을 안다
• 자동화 편향으로 보조 결과가 더 나빠질 수 있다는 것을 설명할 수 있다
• 단독 성능으로 임상적 이익을 주장하는 것이 m40-l08 세 층 오류와 같음을 안다

흔한 실수

정확도로 보고한다. 유병률이 낮으면 "전부 정상" 이 높은 정확도를 받는다. 의료 AI 평가에서 정확도는 보고 지표가 아니다.

민감도만 보고한다. 임계값을 낮춰 민감도를 올리면 위양성이 폭증한다. 양쪽을 함께 보고하지 않으면 잘못된 방향으로 조정된다.

PPV 를 유병률 없이 보고한다. 해석할 수 없고, 실사용 환경에서 전혀 다른 값이 나온다.

개발 데이터 PPV 를 실사용 성능으로 전달한다. 개발 데이터는 환자를 모아 구성해 유병률이 높다. 현장 도입 후 "오진이 많다" 는 불만이 나오고 원인을 못 찾는다.

AUROC 하나로 보고한다. 실제로는 하나의 임계값을 쓰고, 그 임계값의 성능이 실제 성능이다.

AUROC 로 모델을 고른다. 용도에 중요한 영역의 곡선 모양이 다르면 순서가 바뀐다. 선별이면 고민감도 영역을 본다.

QA 가 임계값을 정한다. 놓침과 과다 판정의 교환은 임상적·윤리적 판단이다. QA 는 표를 만들어 주고 결정은 임상이 한다.

임계값을 코드에만 둔다. "누가 왜 이 값을 정했는가" 에 답할 수 없고 인허가·심사에서 지적된다.

신뢰구간을 적지 않는다. 표본이 작으면 추정이 불안하고, 두 모델 비교도 목표 충족 판정도 할 수 없다.

신뢰구간 안의 차이를 개선으로 보고한다. 우연일 수 있는 차이로 모델 교체를 결정하게 만든다.

정답 라벨을 절대적으로 본다. 판독자 간 불일치가 있고, 모델의 "오류" 중 일부가 라벨의 문제일 수 있다.

어려운 건을 제외하고 성능을 보고한다. 제외 기준과 비율이 없으면 수치가 실제보다 높게 읽힌다.

모델 단독 성능으로 임상적 이익을 주장한다. "정확도가 높으므로 진단이 개선된다" 는 두 층을 건너뛴 문장이다.

보조 성능을 단독 성능에서 유도한다. 자동화 편향 때문에 더 나빠질 수도 있다. 별도 평가가 필요하다.

참고 자료

• 제품의 요구사항과 임상 요구 문서 — 성능 목표, 우선 방향, 임계값과 그 근거. 이 레슨이 수치를 적지 않은 모든 항목의 정본이다(원문 확인)
• 임상 성능 평가 계획과 보고서 — 측정 데이터, 정답 정의, 표본 구성, 신뢰구간. 레슨 3 이 읽는 방법을 다룬다
• 진단 정확도 연구 보고 지침 — 어떤 항목을 보고해야 하는지에 관한 공개 지침이 있다. 적용 여부와 항목은 해당 지침 원문에서 확인한다(원문 확인)
• ISO/IEC TS 4213 — 분류 성능 평가의 표준적 기술. 모듈 36 레슨 3 이 다룬다 (조항 — 원문 확인)
• 모듈 66 레슨 2 — 데이터 분리와 편향: 이 성능 수치가 어느 데이터에서 나왔는가
• 모듈 66 레슨 3 — 임상 성능시험 설계 읽기: 다판독자 평가와 외부 검증
• 모듈 40 레슨 1 — IEC 62304: 안전 등급과 산출물
• 모듈 40 레슨 8 — 세 층 구분: 기술적 성능으로 임상적 이익을 주장하지 않기
• 모듈 36 레슨 3 — 분류 성능을 통제 기준·통계 검정으로
• 모듈 41 레슨 9 — 오탐·미탐: 같은 2×2 구조의 금융 적용
• 모듈 65 레슨 1 — 미검출·오검출: 같은 구조의 자율주행 적용
• 모듈 31 레슨 4 — 통계적 표현: 분포와 신뢰구간을 보고에 쓰는 방식