개념
QA 의 자리를 먼저 정한다
임상 성능시험은 임상·통계·규제 전문 영역 이다. 설계는 임상 담당과 통계 담당이 하고, 수행은 의료기관이 하며, 계획과 결과는 규제 당국과 심사 기관이 본다. QA 가 설계하지 않는다.
그런데 QA 가 읽고 확인해야 하는 이유가 셋이다.
- 그 결과가 제품의 성능 주장 근거 가 된다. 기술문서와 인허가 자료에 들어가고, 모듈 40 레슨 8 의 3층 증거 가 여기서 나온다
- QA 가 만든 2층 증거가 그 설계의 전제 다. 알고리즘이 재현 가능하지 않거나 입력 처리가 불안하면 임상 결과가 흔들린다
- 설계가 요구하는 것을 제품이 제공해야 한다. 특정 출력 형태, 로그, 버전 고정. 준비되지 않으면 시험이 멈춘다
그래서 이 레슨의 목표는 설계를 읽고 QA 몫을 식별하는 것 이다. 연구 설계의 구체적 요건·통계 방법·규제 요구는 해당 규정·지침과 통계 계획에서 확인한다(원문 확인).
후향과 전향 — 결과의 의미가 다르다
가장 먼저 읽을 것이다.
| 후향(retrospective) | 전향(prospective) | |
|---|---|---|
| 데이터 | 이미 수집된 과거 데이터 | 지금부터 수집 한다 |
| 비용·기간 | 낮고 짧다 | 높고 길다 |
| 선택 편향 | 크다 — 데이터가 있는 환자만 포함된다 | 통제하기 쉽다 |
| 실제 사용 조건 | 재현되지 않는다 | 재현된다 |
| 정답 확보 | 이미 있는 기록에 의존 | 설계에 포함할 수 있다 |
세 번째가 후향의 근본 한계 다. 과거 데이터는 이미 검사를 받은 환자 의 것이고, 검사를 받은 이유가 있다. 그 자체가 선택이고, 실제 선별 대상 집단과 구성이 다르다. 그러면 레슨 1 에서 본 유병률 차이 가 생기고 PPV 가 달라진다.
네 번째가 임상적 의미를 가른다. 후향 연구는 "이 데이터에서 모델이 정확했다" 를 보이고, 전향 연구는 "실제 진료 흐름에서 이렇게 동작한다" 를 보인다. 두 번째가 훨씬 강한 주장이고, 그래서 비싸다.
QA 가 확인할 질문이 셋이다.
- 어느 설계인가 — 보고서에 명시되어 있는가
- 후향이면 선택 기준이 적혀 있는가 — 어떤 환자를 포함·제외했는가, 제외 비율이 얼마인가
- 주장이 설계를 넘지 않는가 — 후향 결과로 "실제 진료에서 개선된다" 를 주장하면 넘는 것이다
세 번째가 모듈 40 레슨 8 의 세 층 문제와 같다. 후향 성능은 2층에 가깝고, 임상적 이익(3층) 주장에는 더 강한 설계가 필요하다.
사전 명세 — 미리 정하지 않으면 결과가 흔들린다
연구에서 결과를 본 뒤에 분석 방법이나 판정 기준을 고치면 결과가 믿을 수 없게 된다. 그래서 핵심 항목을 미리 문서로 고정 하는 것이 설계의 기본이다.
미리 정해져 있어야 하는 것들이다.
| 항목 | 미리 정하지 않으면 |
|---|---|
| 주 평가 변수 | 좋게 나온 지표를 골라 보고하게 된다 |
| 판정 기준(목표값) | 나온 결과에 맞춰 기준을 맞추게 된다 |
| 표본 수와 근거 | 유의한 결과가 나올 때까지 모으게 된다 |
| 포함·제외 기준 | 결과를 보고 어려운 건을 빼게 된다 |
| 분석 집단 정의 | 어느 대상을 분석에 넣을지가 결과를 바꾼다 |
| 결측·실패 처리 | 불리한 건을 결측으로 처리하게 된다 |
| 부차 분석 계획 | 사후에 집단을 쪼개 유리한 결과를 찾게 된다 |
일곱 번째가 특히 중요하다. 집단을 여러 방식으로 쪼개 보면 우연히 좋게 나오는 집단이 생긴다. 사후에 발견한 그 결과를 주 결과처럼 보고하면 잘못된 결론이 된다. 사전에 계획된 분석과 사후 탐색적 분석은 증거의 무게가 다르고, 보고에서 구분되어야 한다.
레슨 2 에서 다룬 집단별 성능 쪼개기와 이것이 충돌하는 것처럼 보일 수 있는데, 구분이 있다. 안전 관점에서 약한 집단을 찾는 탐색 은 해야 하고, 그 결과를 성능 주장의 근거로 쓰지 않는다. 전자는 위험 발견이고 후자는 증거다.
QA 가 확인할 것은 사전 명세 문서가 있고 결과 보고가 그것을 따르는지 다. 보고된 지표가 계획에 없던 것이면 질의 대상이다.
표본 수 — 왜 그 수인가
표본 수는 임의로 정하는 수가 아니다. 목표 성능, 허용 오차, 유병률, 검출하려는 차이에서 계산된다. 계산 방법과 가정은 통계 계획에서 확인한다 (원문 확인) — QA 가 계산하지 않는다.
QA 가 확인할 것은 셋이다.
- 근거가 적혀 있는가 — 가정값과 계산 방법이 문서에 있는가
- 집단별 분석에 충분한가 — 전체는 충분한데 하위 집단은 부족한 경우가 많다 (레슨 2 의 문제)
- 계획 수와 실제 수가 다른가 — 다르면 왜 다르고, 영향이 평가되었는가
두 번째가 QA 의 유용한 지적 이다. 전체 표본은 계획대로인데 임상적으로 중요한 하위 집단이 20건이면, 그 집단의 성능은 확인되지 않은 것이다. 레슨 2 에서 쓴 "확인하지 못했다" 보고가 여기서 근거를 갖는다.
세 번째도 흔하다. 모집이 어려워 계획보다 적게 끝나는 경우가 있고, 그러면 검정력이 떨어진다. 그 사실과 영향이 보고에 있어야 한다.
다판독자 설계 — 답하는 질문이 다르다
레슨 1 의 마지막에서 구분한 것이 여기서 설계로 나타난다.
모델 단독 성능 — "모델이 정확한가" 판독자 보조 성능 — "모델을 쓴 의사가 더 정확한가·더 빠른가"
두 번째를 묻는 설계가 다판독자 연구 다. 공개 자료는 여러 판독자가 AI 결과를 방사선과 의사 판독과 비교해 알고리즘을 평가하는 데 쓰인다고 설명한다. 구체적 설계 방식·통계 방법·필요 판독자 수는 통계 계획과 관련 지침에서 확인한다(원문 확인).
QA 가 알아야 할 구조는 이렇다.
| 요소 | 왜 중요한가 |
|---|---|
| 판독자 수와 구성 | 숙련도 분포가 결과를 바꾼다. 전문의만인가, 전공의 포함인가 |
| 보조 없이 / 보조로 | 같은 판독자가 양쪽을 하는 설계인가, 다른 판독자인가 |
| 순서와 기억 | 같은 판독자가 같은 영상을 두 번 보면 기억이 영향 을 준다 |
| 보조 제시 방식 | 모델 결과를 어떻게 보여 주는가. 점수인가, 표시인가, 언제 보여 주는가 |
| 측정 항목 | 정확도만인가, 판독 시간 도인가 |
| 판독자 간 차이 | 개인차가 결과에 어떻게 반영되는가 |
세 번째(순서와 기억) 가 설계의 핵심 어려움 이다. 같은 의사가 같은 영상을 보조 없이 보고 나중에 보조로 다시 보면, 첫 판독을 기억한다. 그래서 간격을 두거나 순서를 섞는 설계가 쓰이고, 그 처리가 계획에 있어야 한다.
네 번째가 QA 와 직접 맞물린다. 모델 결과의 제시 방식 이 결과를 바꾼다. 점수를 숫자로 보여 주는 것과 영상에 표시로 보여 주는 것이 다르고, 판독 전에 보여 주는 것과 판독 후에 보여 주는 것이 다르다. 그 제시 방식이 실제 제품의 방식과 같은지 확인하는 것이 QA 의 일이다 — 연구에서 쓴 제시 방식이 제품과 다르면 그 결과는 제품의 증거가 아니다.
다섯 번째의 판독 시간 도 중요한 결과다. 정확도가 같아도 시간이 줄면 임상적 이익이고, 시간이 늘면 현장 도입의 장애가 된다.
자동화 편향 — 결과가 나빠질 수 있다
다판독자 연구에서 확인되는 중요한 현상이 있다. 모델이 정확해도 보조 결과가 나빠질 수 있다.
경로는 둘이다.
과신 — 의사가 모델 결과를 받아들여 자기 판단을 접는다. 모델이 틀린 건에서 의사도 함께 틀린다. 보조 없이 봤다면 잡았을 것을 놓친다.
불신 — 반대로 모델을 무시하면 보조의 이익이 없다. 그리고 거짓 경보가 많으면 불신이 생긴다 — 레슨 1 의 PPV 문제와 연결된다. PPV 가 낮으면 의사는 "또 틀렸겠지" 로 학습 하고, 진짜 양성도 무시한다.
QA 관점에서 이것이 뜻하는 바가 분명하다. 모델 성능만으로 보조 효과를 예측할 수 없다. 그리고 제시 방식과 PPV 가 보조 효과에 직접 영향 을 준다.
그래서 QA 가 할 수 있는 기여가 있다 — PPV 가 낮은 조건에서 거짓 경보가 얼마나 생기는지 보여 주는 것 이다. 레슨 1 의 임계값별 성능 표에 예상 거짓 경보 건수 를 더하면, 임상 담당이 불신 위험을 판단할 수 있다.
QA 가 기여하는 자리
정리하면 다섯이다.
1) 2층 증거를 확실히 만든다. 재현성, 입력 처리, 경계 조건, 성능 안정성. 이것이 흔들리면 임상 결과도 흔들린다 — 모듈 40 레슨 8 의 2층이고, QA 가 양보하지 않는 영역이다.
2) 시험용 버전을 고정하고 추적한다. 임상 시험 기간은 길고 그동안 제품은 개발된다. 시험에 쓰인 버전이 무엇이고 그 뒤 무엇이 바뀌었는지 를 추적하지 않으면, 결과가 어느 버전의 증거인지 알 수 없다. 모듈 33 레슨 7 의 인증 버전 대장, 모듈 40 레슨 7 의 "검증 형상 = 출시 형상" 과 같은 문제다.
3) 설계가 요구하는 것을 제품이 제공하는지 확인한다. 특정 출력 형식, 판독자에게 보여 줄 화면, 로그, 재현 가능한 실행. 준비되지 않으면 시험이 멈추고 일정이 밀린다. 계획을 미리 읽어 준비물을 목록화 하는 것이 QA 의 일이다.
4) 제시 방식이 제품과 같은지 확인한다. 위에서 다룬 핵심 항목이다.
5) 사전 명세와 결과 보고를 대조한다. 보고된 지표가 계획에 있는가, 집단 쪼개기가 사전 계획인가 사후 탐색인가, 표본 수가 계획과 같은가.
5번이 QA 가 할 수 있고 아무도 안 하는 작업 이다. 임상·통계는 자기 영역을 보고, 규제는 제출물을 보지만, 계획과 결과를 나란히 놓고 대조하는 사람이 없는 경우가 많다.
QA 가 하지 않는 일
분명히 해 둔다.
- 연구를 설계하지 않는다. 평가 변수·표본 수·통계 방법은 임상·통계 영역이다
- 표본 수를 계산하지 않는다. 가정과 방법을 확인하고 근거가 있는지 본다
- 결과를 해석해 임상적 결론을 내리지 않는다. "임상적으로 유용하다" 는 QA 의 판정이 아니다
- 환자를 대상으로 하는 활동에 관여하지 않는다. 모집·동의·검사는 의료기관의 영역이고 윤리 심의 절차가 있다
- 연구 데이터를 임의로 다루지 않는다. 접근 권한과 절차 안에서만 한다 (레슨 2 와 같은 원칙)
이 경계를 문서로 합의해 두는 것 이 좋다. 그러면 "그건 QA 가 확인한 줄 알았다" 는 공백이 생기지 않는다 — 모듈 62 레슨 6 의 담당표와 같은 발상이다.
실무에서 왜 필요한가
의료 AI 기업에서 임상 성능시험은 가장 비싸고 가장 긴 활동 이다. 그리고 그 결과가 제품의 성능 주장 전체를 떠받친다. 그런데 QA 가 그 설계를 읽지 않으면 세 가지 문제가 생긴다.
첫째, 시험 중에 준비물이 없어 멈춘다. 설계가 요구하는 출력 형식이나 화면, 로그가 준비되지 않아 시험이 지연된다. 계획을 미리 읽어 준비물을 목록화하면 막을 수 있고, 이것은 QA 가 가장 쉽게 기여하는 지점이다.
둘째, 버전 추적이 끊긴다. 시험 기간 동안 제품은 계속 개발되고, 끝났을 때 "이 결과가 어느 버전의 것인가" 에 답할 수 없게 된다. 시험용 버전을 고정하고 그 뒤 변경을 추적하는 것은 전형적인 QA 작업이다.
셋째, 제시 방식이 제품과 다르다. 연구에서는 점수를 숫자로 보여 줬는데 제품은 영상에 표시로 보여 주면, 그 연구 결과가 제품의 증거인지 의심받는다. 이 대조는 QA 만 할 수 있다.
그리고 사전 명세와 결과 보고의 대조 가 가장 저평가된 기여다. 보고된 지표가 계획에 없던 것이거나, 사후 탐색 결과가 주 결과처럼 적혀 있거나, 표본 수가 계획과 다른데 영향 평가가 없는 경우. 이것을 짚으면 심사에서 받을 지적을 미리 막는다.
채용시장에서의 위치
이 영역은 의료 AI 기업의 QA·RA 자리에서 요구되고, 임상시험 수탁기관(CRO) 과 의료기기 컨설팅 쪽에서도 수요가 있다. 공고에는 "임상 성능시험 지원", "인허가 대응", "임상 자료 작성", "SaMD" 같은 말이 적힌다.
특징은 QA·RA·임상의 경계 라는 점이다. 임상 설계를 할 수는 없지만 읽을 수 있고, 그 결과가 기술문서로 들어가는 흐름을 아는 사람이 적다. 모듈 40(의료기기 규제)·레슨 1·레슨 2 와 함께 익히면 묶음이 된다.
면접에서 가르는 질문이 분명하다. "임상 성능시험 보고서를 받으면 무엇을 확인하시겠습니까." 설계 종류, 사전 명세와의 대조, 시험 버전, 제시 방식, 하위 집단 표본 수를 들면 즉시 구분된다. 그리고 "후향 연구 결과로 무엇을 주장할 수 있습니까" — 설계를 넘지 않는 주장 범위를 말할 수 있으면 실무자로 읽힌다.