개념
이 문서가 무엇이고 무엇이 아닌가
ISO/IEC TR 24028:2020은 AI의 신뢰성(trustworthiness) 에 관한 개관 보고서다. 신뢰성을 이해관계자의 기대를 검증 가능한 방식으로 충족하는 능력으로 보는 관점에서, 신뢰에 영향을 주는 요인과 기존 접근을 넓게 정리한다.
모듈 32 레슨 7에서 TR은 요구사항이 없는 정보 제공 문서 라고 했다. 그런데 국내에서 이 문서를 기준으로 한 KOLAS 인정 사례가 있고, 여러 시험기관이 이 문서에 따른 AI 신뢰성 시험을 안내한다. 요구사항이 없는 문서로 어떻게 시험을 하는가 — 이 레슨의 답은 하나다. 문서의 목록을 위협-대책-시험 추적표로 바꾸고, 판정 기준은 의뢰자와 합의한다. 레슨 2의 판정 기준 합의서가 이 레슨에서 가장 무거워진다.
문서 구조 한눈에
5 신뢰성에 적용 가능한 기존 틀 신뢰의 계층, 소프트웨어·데이터 품질 표준 적용, 위험 관리, 하드웨어 기반 접근
6 이해관계자 유형 · 자산 · 가치
7 상위 관심사 책임·설명책임·거버넌스, 안전
8 취약점·위협·도전 ← 추적표의 왼쪽
9 완화 대책 ← 추적표의 오른쪽
10 결론
부속서 A 사회적 쟁점 관련 연구5장이 흥미롭다. 소프트웨어·데이터 품질 표준을 신뢰성에 적용 하는 절이 따로 있다. 이 모듈의 레슨 1~3(25059·25058·4213)과 모듈 18b 레슨 7(데이터 품질 표준)이 신뢰성의 토대 층 이라는 뜻이다. 신뢰성 시험은 품질 시험을 대체하지 않고, 그 위에 AI 특유의 위협 대응을 더한다.
8장 — 무엇이 신뢰를 무너뜨리는가
8장의 항목을 성격별로 묶으면 이렇다.
AI 특유의 보안 위협(8.2)
| 위협 | 요지 | 시험 관점 |
|---|---|---|
| 데이터 오염(data poisoning) | 학습 데이터에 조작된 샘플을 넣어 모델 동작을 비틀기 | 데이터 수집 경로의 무결성, 이상 샘플 탐지, 오염 주입 시 성능 변화 |
| 적대적 공격 | 사람에게는 거의 같아 보이는 입력 섭동으로 오분류 유도 | 섭동 예산별 공격 성공률 |
| 모델 탈취 | 질의 응답을 모아 모델을 복제 | 질의 속도 제한, 출력 정보량(확률값 노출) 제한 |
| 하드웨어 대상 위협 | 부채널 등으로 기밀성·무결성 침해 | 레슨 범위 밖 — 모듈 34 레슨 5의 물리 변조 요구와 연결 |
AI 특유의 프라이버시 위협(8.3) — 데이터 획득 단계, 전처리·모델링 단계, 모델 질의 단계 로 나눈다. 마지막이 AI답다. 모델에 질의하는 것만으로 학습 데이터에 특정인이 포함됐는지 추론하거나(구성원 추론), 학습 데이터 일부를 복원할 수 있다. 모듈 18b 레슨 9에서 생성형 AI의 프라이버시 위험을 봤다면, 여기서는 분류 모델을 포함한 AI 일반의 질의 기반 위협 이다.
편향(8.4) — 레슨 4의 TR 24027로 넘긴다.
예측 불가능성(8.5)과 불투명성(8.6) — 같은 입력에 대한 결과를 사전에 알기 어렵고, 왜 그런 결과가 나왔는지 설명하기 어렵다는 성질이다. 모듈 18b 레슨 5의 비결정성과 모듈 18c의 교차검증 필요성이 여기서 신뢰성 위협으로 분류된다.
명세·구현·사용 단계의 도전(8.7~8.9)
명세 AI 시스템의 요구를 완전하게 명세하기 어렵다
구현 데이터 획득·준비 / 모델링 / 모델 업데이트 / 소프트웨어 결함
사용 인간-컴퓨터 상호작용 요인 / 사람처럼 행동하는 AI 의 오용"모델 업데이트"와 "소프트웨어 결함"이 구현 도전으로 나란히 있다는 점을 보자. AI 신뢰성 문제의 상당수는 모델이 아니라 모델을 감싼 평범한 소프트웨어의 결함 에서 온다. 전처리 코드의 버그, 모델 버전 불일치, 임계값 설정 오류. 모듈 1부터 배운 전통적 테스트가 신뢰성 시험의 절반이다.
시스템 하드웨어 결함(8.10) — 연산 장치의 오류가 결과를 바꾸는 경우. 모듈 35 레슨 1의 기능안전 관점과 이어진다.
9장 — 무엇으로 신뢰를 세우는가
9장의 완화 대책은 다음과 같다.
| 대책 | 내용 | 시험으로 확인할 것 |
|---|---|---|
| 투명성(9.2) | 시스템에 관한 정보의 공개 | 레슨 1의 투명성 부특성과 같은 질문 |
| 설명 가능성(9.3) | 설명의 목적, 사전(ex-ante)·사후(ex-post) 설명, 접근 방식, 사후 설명의 방식, 설명 수준, 설명의 평가 | 설명이 실제 모델 동작과 일치하는가 |
| 통제 가능성(9.4) | 인간 개입 지점(human-in-the-loop control points) | 개입 지점이 존재하고 동작하며 우회되지 않는가 |
| 편향 감소 전략(9.5) | → 레슨 4 | 집단별 지표 |
| 프라이버시(9.6) | 데이터 최소화, 비식별 등 | 질의 기반 추론 시험 |
| 신뢰성·복원력·강건성(9.7) | 오류 허용과 회복 | 레슨 1의 강건성 곡선 |
| 하드웨어 결함 완화(9.8) | 중복, 검출 | — |
| 기능 안전(9.9) | 안전 관련 기능의 체계적 개발 | 모듈 35 |
| 시험과 평가(9.10) | 검증·확인 방법, 강건성 고려, 프라이버시 고려, 예측 가능성 고려 | 이 표 전체의 시험 방법 |
| 사용과 적용성(9.11) | 규제 준수, 기대 관리, 제품 표시, 인지 과학 연구 | 설명서·화면의 한계 표시 |
두 항목을 좀 더 들여다보자.
설명의 평가(9.3.7). 설명 가능성 도구는 "그럴듯한 설명"을 쉽게 만든다. 모듈 18c에서 AI가 틀린 내용도 자신 있게 설명한다 는 것을 봤다. 설명 자체가 시험 대상이어야 하는 이유다. 대표적인 확인 방법은 설명이 중요하다고 지목한 특성을 제거·교란했을 때 결과가 실제로 크게 바뀌는가 다. 설명이 지목한 특성을 지워도 결과가 그대로라면, 그 설명은 모델 동작을 설명하지 못한다.
[설명 충실도 시험]
1. 샘플 N개에 대해 설명 도구가 지목한 상위 k개 특성을 기록
2. 그 k개 특성을 중립값으로 바꿔 재추론 → 예측 변화량 Δ_explained
3. 무작위 k개 특성을 바꿔 재추론 → 예측 변화량 Δ_random
4. Δ_explained 가 Δ_random 보다 유의하게 큰가 (레슨 3 의 짝 검정)통제 가능성 — 인간 개입 지점(9.4.2). 사람이 개입할 수 있는 지점이 설계 문서에 있는 것 과 실제로 작동하는 것 은 다르다. 레슨 1의 개입 가능성 부특성, 모듈 18c 레슨 7의 승인 게이트와 같은 질문이 여기서 반복된다. 시험은 세 가지를 본다. 개입 지점에 도달하는 경로가 있는가, 개입이 시간 안에 반영되는가, 그리고 개입 없이 자동으로 넘어가는 기본 동작 (예: 승인 대기 시간 초과 시 자동 승인)이 개입을 무력화하지 않는가.
목록을 시험으로 — 위협-대책-시험 추적표
TR에는 요구사항이 없으므로, 시험 가능한 형태로 만드는 첫 산출물은 추적표 다. 모듈 2의 요구사항 추적 매트릭스를 위협 기준으로 뒤집은 것이다.
| 위협(8장) | 이 시스템에 해당? 근거 | 대책(9장) | 구현 위치 | 시험 | 판정 기준(합의) | 결과 |
|---|---|---|---|---|---|---|
| 8.2.3 적대적 공격 | 해당 — 외부 사용자가 이미지 업로드 | 9.7 강건성 / 입력 전처리 | 추론 API 앞단 | L∞ 섭동 ε=2,4,8 공격 성공률 | ε=4 에서 성공률 ≤ 10% | |
| 8.2.4 모델 탈취 | 해당 — 확률값 응답 | 출력 정보량 제한, 속도 제한 | API 게이트웨이 | 1만 질의로 대체 모델 학습 후 일치율 | 일치율 ≤ 합의값, 속도 제한 동작 | |
| 8.3.4 질의 기반 프라이버시 | 해당 — 학습에 고객 이미지 포함 | 9.6 프라이버시 | 학습 파이프라인 | 구성원 추론 공격 정확도 | 무작위 대비 유의차 없음 | |
| 8.2.2 데이터 오염 | 부분 — 재학습에 사용자 피드백 사용 | 피드백 필터링·검수 | 재학습 파이프라인 | 오염 샘플 1% 주입 후 성능 변화 | 하락 ≤ 2%p, 오염 탐지율 | |
| 8.6 불투명성 | 해당 — 판정 근거 요구 | 9.3 사후 설명 | 결과 화면 | 설명 충실도 시험 | Δ_explained > Δ_random (p<0.05) | |
| 8.9.1 HCI 요인 | 해당 — 검수자가 AI 결과 확인 | 9.4 인간 개입 지점 | 검수 화면 | 개입 경로·지연·타임아웃 동작 | 타임아웃 시 자동 승인 없음 | |
| 8.10 하드웨어 결함 | 비해당 — 안전 기능 없음, 재시도 가능 | — | — | — | — | 비포함 근거 기록 |둘째 열 "이 시스템에 해당? 근거" 가 추적표의 품질을 정한다. 모든 위협을 시험하는 것은 불가능하고 불필요하다. 레슨 1에서 비워 둔 칸마다 이유가 있어야 한다고 했듯이, 비해당 판정에도 근거 가 있어야 한다. 이 열은 모듈 34 레슨 3의 EN 18031 결정 트리 비적용 근거와 같은 역할을 한다.
적대적 공격 행의 판정 기준에 섭동 예산(ε) 이 들어가 있다는 점도 보자. "적대적 공격에 강건하다"는 판정은 어떤 공격자 역량에 대해서인가 가 없으면 의미가 없다. 모듈 34 레슨 5에서 IEC 62443의 보안 수준을 공격자 역량으로 정의한 것과 같은 발상이다.
성적서에 적을 수 있는 것과 없는 것
TR 24028 기반 시험 성적서의 범위 문장은 조심스러워야 한다.
적을 수 있는 것
"ISO/IEC TR 24028:2020 8장·9장을 참조해 의뢰자와 합의한 위협 N개 항목에 대해,
합의한 시험 방법과 판정 기준으로 시험한 결과는 다음과 같다."
적을 수 없는 것
"ISO/IEC TR 24028 적합"
"신뢰할 수 있는 AI 인증"첫 문장은 무엇을 참조해 무엇을 어떻게 시험했는가 를 말한다. 둘째 줄들은 요구사항이 없는 문서에 대한 적합을 선언하거나, 시험을 인증처럼 표현한다. 모듈 32 레슨 6에서 "KOLAS 인정 제품"이 성립하지 않는 표현이라고 한 것과 같은 이유로 성립하지 않는다. 추적표에서 비포함으로 판정한 위협 목록 도 성적서의 한계 절에 들어가야 한다.
실무에서 왜 필요한가
"신뢰할 수 있는 AI"라는 요구는 발주서와 규제 문서에 점점 자주 등장하지만, 그 문장만으로는 무엇을 시험할지 알 수 없다. TR 24028의 8장·9장은 그 요구를 위협과 대책의 목록 으로 풀어 주고, 추적표는 그 목록을 시스템에 해당하는 것만 골라 시험 가능하게 만든다. 이 변환을 할 수 있는 사람이 AI 신뢰성 과제의 범위를 정한다.
추적표의 "해당 근거" 열은 비용을 통제한다. 모든 위협에 대한 공격 시험은 막대한 비용이 든다. 외부 사용자 입력이 없는 내부 분석 모델에 적대적 공격 시험을 요구하는 것은 낭비고, 반대로 고객 사진을 학습한 공개 API에 질의 기반 프라이버시 시험을 빼는 것은 사고의 씨앗이다.
설명 충실도 시험은 규제 대응에서 특히 값을 낸다. 설명 요구를 받는 시스템이 늘면서 설명 도구 도입이 흔해졌는데, 그 설명이 실제 모델 동작과 맞는지 확인하지 않은 채 제공되는 경우가 많다. 틀린 설명은 설명이 없는 것보다 나쁘다. 사용자와 규제 기관을 동시에 오도하기 때문이다.