AI 시스템 품질·신뢰성 평가 — ISO/IEC 25059·TS 25058·TS 4213·TR 24027·TR 24028

학습 목표

이 모듈 한 줄 요약 — "인공지능 평가 결과를 제3자에게 설명하는 법". 우리 안에서 "성능이 좋다" 고 말하는 것과, 바깥 사람이 그 말을 믿게 만드는 것은 다른 일이다. 무엇을 어떤 기준으로 쟀는지 표준이 정한 틀에 올려 적어야 성적서가 되고 계약의 근거가 된다.

모듈 18b가 AI 시스템을 검증하는 기법 — LLM 평가, 편향 대조 테스트, 혼동 행렬, 데이터 품질 표준 — 을 다뤘다면, 이 모듈은 그 기법들을 표준이 정한 평가 틀과 판정 기준 합의로 묶어 제3자에게 설명 가능한 결과로 내놓는 쪽 이다. KOLAS 소프트웨어 인정범위의 AI 품질·신뢰성 갈래에 올라가는 ISO/IEC 25059, TS 25058, TS 4213, TR 24027, TR 24028과 국내 데이터 품질 가이드를 대상으로 한다.

25059로 AI 시스템에 더해진 품질 부특성을 검증 질문으로 옮기고, 25058로 25040 평가 프로세스 위에 부특성별 평가 계획과 판정 기준 합의서를 세운다. 4213으로 분류 성능을 통제 기준·유의성 검정·보고 형식에 맞춰 평가하고, 24027로 편향의 출처를 분류하고 공정성 지표를 합의해 수명주기에 걸쳐 다룬다. 24028로 신뢰성 위협과 완화 대책을 위협-대책-시험 추적표로 만들고, 마지막으로 NIA 가이드라인과 빅데이터 플랫폼 가이드를 판을 고정한 시험 항목표로 옮긴다.

이 모듈을 관통하는 문장은 하나다. AI 품질 표준은 무엇을 볼지 알려 주지만 합격선을 정해 주지 않는다 — 판정 기준을 누가 어떤 근거로 합의했는가가 결과의 신뢰를 만든다.

완료 후 할 수 있는 것

• 25059:2023이 더하거나 수정한 부특성(기능 적응성·기능 정확성·사용자 통제성·투명성·강건성·개입 가능성·사회·윤리적 위험 완화)을 검증 질문과 대표 시험으로 옮길 수 있다
• 강건성 요구를 섭동 종류·강도 단계·허용 기준으로 쓰고, 25010:2023·25059 개정 초안이 만드는 판 간극을 계획서에 반영할 수 있다
• TS 25058이 임계값을 정하지 않는다는 전제에서 부특성을 25023 측정량 참조와 AI 특화 지침으로 가르고, 25040 다섯 활동 위에 평가 계획을 세울 수 있다
• 기능 정확성 평가에 데이터 분리·교차 검증·백테스트·코호트 시험·컷오프 합의·운영 모니터링을 넣고, 결정 규칙과 비포함 근거가 담긴 판정 기준 합의서를 쓸 수 있다
• TS 4213의 통제 기준(대표성·누설·채널 효과·정답·기준선 등)으로 벤더 성능 주장을 해부하고, 누설 점검과 그룹·시간 분할을 설계할 수 있다
• 불균형·쓰임새에 맞춰 ROC·PR·리프트와 평균 방식을 고르고, McNemar 등 짝 구조에 맞는 유의성 검정과 다중 비교 보정을 적용할 수 있다
• TR 24027의 편향 출처 세 갈래로 사례를 분류하고, 대리 변수·데이터 처리 단계·심슨의 역설을 점검할 수 있다
• 집단별 혼동 행렬로 인구 통계적 동등성·기회 균등·균등 승산·예측 동등성을 계산하고, 지표 충돌을 근거로 과업에 맞는 주 지표를 합의할 수 있다
• TR 24028의 보안·프라이버시 위협과 명세·구현·사용 도전을 시스템에 대해 해당 판정하고, 공격자 역량이 들어간 위협-대책-시험 추적표를 만들 수 있다
• 설명 충실도 시험과 인간 개입 지점 시험을 설계하고, 요구사항 없는 기술 보고서 기반 성적서의 범위 문장을 쓸 수 있다
• NIA 가이드라인 v3.1·v3.5와 빅데이터 플랫폼 가이드의 구조를 설명하고, 판을 고정한 계약 문구와 국제 측정 대응이 들어간 시험 항목표를 만들 수 있다

채용시장에서의 위치

AI 규제와 공공 AI 도입이 늘면서 AI 시스템을 제3자가 평가하는 일 이 직무로 자리 잡고 있다. 국내에서도 ISO/IEC 25059·TR 24028 기반 KOLAS 인정을 받은 시험기관이 생겼고, 여러 시험기관이 25058·4213 기반 AI 소프트웨어 시험을 안내한다. 수요처는 시험·인증기관의 AI 시험원, AI 제품을 조달·도입하는 공공기관과 기업의 AI 품질·도입 평가 담당, AI 학습용 데이터 구축 사업의 품질 검증 조직, 그리고 AI 제품사의 모델 평가·책임 있는 AI 담당이다.

이 영역에서 흔한 인력은 모델을 학습시키고 지표를 뽑을 수 있는 사람 이다. 드문 것은 그 지표가 비교 가능하고 반박에 버티는 결과 가 되도록 설계하는 사람이다. 시험셋 누설을 잡아내고, 평균 방식과 검정 방법을 이유와 함께 고르고, 공정성 지표의 충돌을 이해관계자에게 숫자로 보여 주고, 요구사항이 없는 기술 보고서를 시험 가능한 추적표로 바꿀 수 있는 사람이다. 데이터 과학 배경과 QA·시험 제도 배경을 동시에 가진 사람은 특히 적다.

면접에서 힘을 갖는 답변은 "AI 모델을 평가해 봤다"가 아니라 "평가 결과가 왜 뒤집혔거나 뒤집히지 않았는가" 다. 무작위 분할에서 0.95였던 성능이 환자 단위 분할에서 0.84로 떨어진 것을 찾아낸 이야기, 가중 F1로 보고되던 모델의 소수 클래스 약점을 매크로 F1로 드러낸 이야기, 컷오프 임계값을 개발팀이 아니라 업무 담당과 합의하게 만든 이야기가 이 모듈의 성숙도를 보여준다.