디지털 헬스 QA — 의료 AI 판독·EMR/PACS 연동·HL7 FHIR

학습 목표

이 모듈 한 줄 요약 — "오류가 오진과 지연으로 환자에게 도달한다". 병원에서 실제로 돌아가는 소프트웨어를 다룬다 — 영상을 판독하는 인공지능, 진료 기록 시스템, 병원 사이의 정보 교환. 금액이 틀리거나 화면이 깨지는 것과는 결과의 종류가 다르다. 그래서 무엇을 어떻게 확인하는지도 달라진다.

⚠️ 실습에 실제 환자 데이터를 쓰지 않는다.

모듈 40 에서 의료기기 소프트웨어의 규제 문서를, 모듈 36 에서 AI 시스템 품질의 표준적 틀을 다뤘다. 이 모듈은 그 둘을 실제 진료 현장에서 돌아가는 소프트웨어 에 적용한다. emphasis 가 말하는 바 그대로다 — 의료 소프트웨어의 오류는 오진과 지연으로 환자에게 도달한다. 금액이 틀리거나 화면이 깨지는 것과 종류가 다른 결과이고, 그래서 판정 기준도 다르다.

이 모듈을 관통하는 질문이 셋 있다. 첫째, 이 숫자가 무엇을 뜻하는가. 정확도 97% 는 유병률이 낮으면 아무 의미가 없고, PPV 는 배포 환경이 바뀌면 함께 바뀐다. 둘째, 이 숫자가 어느 데이터에서 나왔는가. 같은 환자의 영상이 학습과 평가에 나뉘어 들어가면 성능이 퍼센트포인트 수십 단위로 부풀 수 있다. 셋째, 이것이 없어도 진료가 되는가. AI 가 멈춰서 진료가 멈추면 그것은 설계 결함이고, AI 중단이 "이상 없음" 으로 보이면 판독하지 못한 영상이 정상으로 읽힌다.

여섯 갈래로 간다. 첫째, 성능 지표 다. 민감도와 특이도를 따로 보고, 유병률이 예측값을 바꾸는 구조를 계산으로 확인하고, 임계값 결정이 기술이 아니라 임상 판단이라는 경계를 긋는다. 둘째, 데이터 분리와 편향 이다. 누출이 생기는 일곱 경로를 검사로 막고, 전체 평균에 가려진 약한 집단을 드러내며, "성능이 낮다" 와 "확인하지 못했다" 를 구분해 보고한다. 셋째, 임상 성능시험 읽기 다. 설계하지 않지만 읽고 확인한다 — 후향·전향의 차이, 사전 명세와 결과 보고의 대조, 다판독자 설계에서 제시 방식이 제품과 같은지. 넷째, 연계 다. DICOM·HL7 v2·FHIR 가 한 흐름에서 맡는 역할을 가르고, 경계에서 값이 변하는 지점을 찾고, 환자가 섞이는 일곱 경로를 검사로 막는다. 다섯째, 클라우드 EMR 전환 이다. 정합성을 세 층으로 판정하고, 되돌릴 수 없는 코드 매핑을 원본 종료 전에 확정하고, 전환 경계 환자를 개별 확인한다. 여섯째, 가용성과 수기 대체 다. 비율 대신 흐름별 허용 중단으로 기준을 바꾸고, 부분 장애에서 무엇이 먼저 살아야 하는지 정하고, 복구 후 기록이 합쳐지는지를 본다.

이 모듈의 실습 과제는 실제 환자 데이터를 쓰지 않는다. 가상의 식별자와 생성 데이터로 설계하고, 환자 데이터를 다루는 실무에서는 접근 권한·가명 처리와 그 결과 검증·반출 통제·보관 기간이 규정과 법령에 따라 정해진다는 것을 전제로 명시했다. 운영 의료 시스템에 장애를 주입하거나 시험 데이터를 넣지 않으며, 전환 실행과 수기 대체 훈련의 주관은 QA 가 아니다. 수치가 필요한 자리는 상상해 넣지 않고 "요구사항·임상 요구·통계 계획·법령에서 확인한 값(원문 확인)" 으로 썼다 — 성능 목표, 임계값, 허용 중단 시간, 보존 기간이 모두 그렇다.

완료 후 할 수 있는 것

• 유병률이 낮을 때 정확도가 쓸 수 없는 지표임을 숫자로 보일 수 있다
• 민감도와 특이도를 따로 보고하고, 위음성·위양성의 의료적 결과가 비대칭임을 설명할 수 있다
• 어느 방향을 우선할지가 임상 결정이며 QA 가 하지 않는다는 경계를 안다
• PPV 가 유병률에 강하게 의존하는 것을 계산으로 보이고, 유병률 없는 예측값은 해석할 수 없음을 안다
• 개발 데이터의 높은 유병률이 실사용 PPV 를 예측하지 못하는 구조를 설명할 수 있다
• 배포 환경(상급 병원 ↔ 1차 의료기관, 선별 ↔ 확진) 변화가 PPV 를 바꾸는 것을 미리 전달할 수 있다
• AUROC 의 네 함정을 알고, 쓰려는 임계값에서의 성능을 함께 보고하게 할 수 있다
• 같은 AUROC 가 다른 곡선에서 나와 용도에 따라 모델 순서가 바뀔 수 있음을 안다
• 임계값 결정이 임상적·윤리적 판단임을 알고, 임계값별 성능 표로 결정을 돕되 대신하지 않는다
• 임계값이 코드에만 있고 문서에 없으면 지적 사항임을 안다
• 성능 보고에 함께 있어야 하는 여덟 항목을 들고, 신뢰구간 없이 모델을 비교하지 않는다
• 정답 라벨의 네 출처와 판독자 간 불일치가 성능 상한을 제한하는 구조를 안다
• 어려운 건을 제외하면 성능이 높게 나오므로 제외 기준·비율을 보고해야 함을 안다
• 모델 단독 성능과 판독자 보조 성능이 다른 질문임을 알고, 단독 성능으로 임상적 이익을 주장하지 않는다
• 누출이 생기는 일곱 경로를 들고, 환자 단위 분리가 원칙임을 안다
• 전처리 기준을 나누기 전 전체 데이터로 계산하면 누출이 되는 구조를 안다
• 평가 데이터를 반복해 보면 독립성이 사라지므로 최종 평가용을 봉인해야 함을 안다
• 최종 평가 데이터 접근 기록이 없으면 성능의 독립성을 주장할 수 없음을 안다
• 분리를 말로 받지 않고 식별자 교집합·내용 해시 중복 검사로 확인할 수 있다
• 검사를 데이터 준비 파이프라인에 넣어야 유지된다는 것을 안다
• 편향이 전체 평균에 가려지는 구조를 숫자로 보이고, 집단을 일곱 축으로 쪼갤 수 있다
• 기관이 가장 큰 변동 요인이며 그것이 외부 검증의 중요성으로 이어진다는 것을 안다
• 병변 크기 구간별 민감도를 보고해야 하는 임상적 이유를 안다
• "성능이 낮다"·"확인하지 못했다"·"데이터가 없다" 를 구분해 정직하게 보고할 수 있다
• 정직한 보고가 사용 범위 제한·추가 데이터 수집으로 이어지는 경로를 안다
• 외부성의 정도를 단계로 구분하고 "같은 기관 다른 기간" 의 한계를 지적할 수 있다
• 외부 데이터에서 성능이 거의 항상 떨어진다는 방향을 알고 하락 폭을 나란히 보고하게 한다
• 배포 후 입력 분포가 변하는 다섯 경로를 알고, 상류 소프트웨어 갱신이 눈에 안 보이는 경로임을 안다
• 정답이 늦게 오는 의료 특성 아래에서 출력 분포를 대리 지표로 감시할 수 있다
• 임상 성능시험을 QA 가 설계하지 않지만 읽어야 하는 세 이유를 들 수 있다
• 후향과 전향의 차이를 알고, 후향 결과로 임상적 이익을 주장하면 설계를 넘는다는 것을 안다
• 사전 명세가 필요한 일곱 항목을 알고, 계획과 결과 보고를 대조할 수 있다
• 사전 계획 분석과 사후 탐색 분석의 증거 무게가 다름을 알고 보고에서 구분하게 한다
• 안전 관점의 집단 탐색과 성능 주장의 근거를 가를 수 있다
• 전체 표본은 충분한데 하위 집단이 부족한 경우를 지적할 수 있다
• 다판독자 설계의 여섯 요소를 알고, 순서·기억 처리가 계획에 있는지 확인할 수 있다
• 연구의 제시 방식이 제품과 같은지 대조하고, 다르면 그 결과가 제품의 증거가 아님을 설명할 수 있다
• 자동화 편향의 두 경로(과신·불신) 를 알고, PPV 가 낮으면 불신이 생기는 구조를 설명할 수 있다
• 임계값별 표에 예상 거짓 경보 건수를 더해 불신 위험을 판단할 재료를 줄 수 있다
• 시험용 버전을 고정하고 기간 중 변경을 추적해 "어느 버전의 증거인가" 에 답할 수 있다
• 연구가 요구하는 준비물을 미리 목록화해 시험이 멈추지 않게 할 수 있다
• HL7 v2·DICOM·FHIR 가 한 흐름에서 맡는 역할을 가르고 경계에서 변환되는 것을 짚을 수 있다
• DICOM 검증 일곱 축을 알고, 부분 전송이 "완료" 로 보이는 위험을 장수 일치 검사로 막을 수 있다
• 메타데이터 보존이 모델 입력 전제와 집단별 분석에 필요함을 안다
• 익명화를 양방향으로 검사한다 — 지워야 할 것이 남았는지와 남겨야 할 것이 지워졌는지
• 가명 일관성이 깨지면 환자 단위 분리가 깨지고 교집합 검사가 통과하는데 실제로는 누출인 상태를 안다
• HL7 v2 의 검증 기준이 표준이 아니라 합의된 연계 정의서임을 안다
• 구분자와 같은 문자·인코딩 깨짐이 값을 바꾸는 전형임을 알고 특수 문자·다국어 시험 데이터 집합을 만들 수 있다
• FHIR 의 프로파일 준수가 표준 유효성과 다르고, 다른 환자 자원 참조가 섞임 경로임을 안다
• 페이지 나누기에서 일부만 받고 전체로 알면 생기는 위험을 안다
• 환자가 섞이는 일곱 경로를 알고, 영상-환자 대조 검사를 주기적으로 돌릴 수 있다
• AI 소프트웨어에서 입력 영상 환자와 결과 환자 일치 확인이 필수인 이유를 안다
• 임시 식별자 통합과 병합·분리에서 기록 추적을 검사로 확인할 수 있고, 분리가 더 위험한 이유를 안다
• 의료의 다섯 시각을 구분하고 순서 역전 검사를 "0건이면 통과" 로 만들 수 있다
• 연계 시험을 세 층으로 배분하고, 비정상 모드를 갖춘 모의 상대를 요구할 수 있다
• 깨진 메시지를 조용히 받아들여 빈 값으로 저장하면 생기는 일을 안다
• 적합성 선언 대조를 먼저 해 지원하지 않는 기능을 시험하는 낭비를 없앨 수 있다
• 이관 정합성을 세 층(건수·값·의미) 으로 판정하고, 환자별 비교로 섞임을 잡을 수 있다
• 식별자 차집합을 양방향으로 보고, 대상에만 있는 환자가 뜻하는 것을 안다
• 알레르기·투약·수술 이력의 전수 비교 필요를 임상에 묻고 표본 계획을 설계할 수 있다
• 코드 매핑의 세 문제를 알고, 되돌릴 수 없는 매핑을 원본 종료 전에 목록화할 수 있다
• 원본 값을 함께 보존하는 설계를 요구하고, 매핑표의 임상 검토를 확인할 수 있다
• 단위 변환 오류가 수치를 자릿수로 바꾸는 것을 알고 변환 검사를 설계할 수 있다
• 비정형 기록의 길이 분포 비교로 잘린 텍스트를 전부 잡을 수 있다
• 판독 소견의 뒤쪽이 잘리면 결론이 사라져 의미가 반대로 읽힐 수 있음을 안다
• 영상 이관을 해시 비교로 검증하고, 압축 방식 변경과 손실 압축의 한계를 안다
• 이관 후 기존 뷰어·AI 가 영상을 가져오는지 확인해 진료가 멈추지 않게 할 수 있다
• 이중 운영의 정본 결정 규칙을 요구하고, 전환 경계 환자를 명단으로 개별 확인할 수 있다
• 되돌리기의 네 질문을 알고, 판단 기준과 리허설을 요구할 수 있다
• 접근 통제가 양방향으로 위험함을 알고, 긴급 접근을 작동·기록·사후 검토 세 가지로 확인할 수 있다
• 이관 전후 권한을 대조해 넓어진 권한을 찾을 수 있다
• 판독 흐름 전체의 시간을 재야 하고 영상 한 건의 응답으로 부족함을 안다
• 가용성 비율이 의료에서 판정으로 쓸 수 없는 세 이유를 들 수 있다
• 진료 흐름별 허용 중단 표가 필요하고 값은 임상·운영이 정한다는 것을 안다
• 부분 장애 유형과 의존성 지도를 만들고, 영상 저장 중단을 시간 분량으로 환산할 수 있다
• 인증 부분 장애가 교대 시간에 발생하면 생기는 문제를 안다
• AI 를 꺼 놓고 진료가 되는지 시험할 수 있고, 보조 기능 중단이 진료를 막으면 설계 결함임을 안다
• AI 중단 상태가 "이상 없음" 으로 보이는지 확인하는 시험을 설계할 수 있다
• 느린 상태가 중단보다 나쁠 수 있고 시간 초과 후 포기 설계가 필요함을 안다
• 수기 대체 절차를 일곱 축으로 검토하고, 절차서가 시스템 안에만 있으면 볼 수 없음을 안다
• 읽기 전용 사본의 요건과 같은 인프라에 있으면 함께 죽는다는 것을 안다
• 복구 후 기록 합치기의 일곱 문제를 알고, 실제 발생 시각 입력과 수기 기간 표식을 요구할 수 있다

채용시장에서의 위치

이 모듈이 겨냥하는 시장은 의료 AI 기업, 의료영상·의료정보 솔루션 기업(EMR·PACS·OCS), 병원의 의료정보팀과 AI 도입 조직, 의료 클라우드 사업자, 그리고 의료기기 시험기관·인허가 컨설팅 이다. 국내에서 의료 AI 와 의료 클라우드 전환이 함께 진행되면서 수요가 늘었고, 공고 문구는 "의료 AI 검증", "임상 성능", "SaMD", "HL7", "DICOM", "FHIR", "의료정보 연계", "EMR 전환", "PACS 연동" 같은 형태로 나타난다.

이 시장은 세 갈래로 갈려 있고 요구하는 조합이 다르다. AI 성능 쪽(레슨 13) 은 통계 이해와 규제 이해 가 함께 필요하고, 둘 중 하나만 있는 지원자가 많아 양쪽을 다루는 사람의 폭이 넓다. 연계 쪽(레슨 4) 은 학습 비용이 크고 공급이 적은데 수요가 꾸준하다 — 표준이 셋이고 각각 판본과 프로파일이 있지만, 한 번 익히면 어느 기관에서나 쓰인다. 전환·가용성 쪽(레슨 56) 은 주기적으로 발생하는 사업 이고 사고 비용이 커서 경험자를 찾는다.

경쟁력이 되는 것은 넷이다. 첫째, 숫자에 질문을 할 수 있는 능력 이다. "정확도 97%" 나 "AUROC 0.95" 를 받았을 때 유병률·임계값·표본 수·신뢰구간을 묻는 사람과 그대로 받아 적는 사람이 면접에서 즉시 갈린다. 둘째, 부풀려진 성능을 찾아내는 눈 이다. 환자 식별자 교집합 검사 한 번으로 드러나는 경우가 많고, 그 발견을 출시 전에 하는 것과 현장 도입 후에 하는 것의 차이가 자릿수로 크다. 셋째, 정직한 보고를 설계하는 능력 이다 — "성능이 낮다" 와 "확인하지 못했다" 를 구분하고, 덮이지 않은 집단을 명시하는 보고가 전체 숫자 하나보다 강하다는 것을 아는 사람. 넷째, 환자 안전으로 번역하는 능력 이다. 일부만 저장된 검사, 다른 환자에 붙은 결과, 잘린 판독 소견, "이상 없음" 으로 보이는 AI 중단 — 이것들을 기능 결함이 아니라 환자 안전 문제로 올릴 수 있으면 처리 경로가 달라진다.

자격·이력 축에서는 모듈 40(의료기기 규제) 과 함께 익히는 것이 묶음 이 된다. ISO 13485 내부심사원 교육, 의료기기 규제 관련 교육, ISTQB CTFL·CTAL-TA 가 공통 언어로 쓰이고, 의료 AI 쪽에서는 모듈 36·57 의 AI 품질 표준이 더해진다. 다만 최종적으로 평가되는 것은 "심사나 전환을 통과시켜 봤는가" 다. 이 모듈의 실습 과제는 그 경험이 없는 상태에서 해당 산출물 — 임계값별 성능 표, 누출 검사 묶음, 집단별 성능 보고 양식, 사전 명세 대조 절차, 식별자 대조 검사, 세 층 정합성 검사, 흐름별 허용 중단 표, 보조 기능 중단 시험 — 을 미리 만들어 두는 방향으로 설계했다.