개념
왜 국제표준 옆에 국내 가이드가 있는가
모듈 32 레슨 7의 인정범위 목록 데이터 품질 갈래에는 네 줄이 있었다. ISO/IEC 25024, ISO/IEC 5259-2, 그리고 인공지능 학습용 데이터 품질관리 가이드라인 v3.1 과 빅데이터 플랫폼 및 센터 데이터 품질관리 가이드 2021 이다.
모듈 18b 레슨 7에서 25024(정형 데이터 품질 측정)와 5259-2(AI 학습용 데이터 품질 측정)를 봤고, 레슨 8에서 학습데이터 검증 파이프라인을 만들었다. 그런데 국내 공공 데이터 구축 사업을 수행하는 조직이 실제로 계약상 지켜야 하는 문서 는 대개 이 두 국제표준이 아니라 국내 가이드다. 사업 공고와 과업지시서가 가이드를 인용하기 때문이다.
모듈 32 레슨 7에서 가이드라인은 사업 계약이 인용할 때 그 사업 안에서 구속력이 생긴다 고 했다. 이 레슨은 그 구속력이 실제로 어떤 시험 요구로 나타나는지를 다룬다.
인공지능 학습용 데이터 품질관리 가이드라인 — 무엇이 들어 있는가
한국지능정보사회진흥원(NIA)은 AI 학습용 데이터 구축 사업을 여러 해 수행하며 쌓은 경험을 가이드라인으로 정리해 판을 거듭 발간해 왔다. v3.1 은 2024년에 공개되었고 2023년도 구축 사업의 내용을 현행화한 판이다. 공개 이후 다운로드 6만 건 이상을 기록해 공공·민간에서 기준서로 쓰이고 있다고 NIA는 밝혔다.
v3.1의 구성은 대략 이렇다.
| 권 | 내용 |
|---|---|
| 제1권 | 품질관리 가이드라인 — 총론, 품질관리 체계, 품질 자가점검과 검증 절차, 품질관리 기준·지표 설정, 개인정보 보호 |
| 제2권 | 초거대 AI 데이터 품질관리 가이드라인 — 데이터 생애주기별 관리, 구축 단계별 유의사항, 품질 지표와 계획서 작성 |
| 별권 | 주요 산출물 양식과 작성 예시 |
가이드라인의 뼈대는 품질관리 프레임워크 다. 공개된 해설 자료들이 정리한 흐름은 다섯 단계 프로세스와 그에 대응하는 산출물이다.
프로세스 데이터 획득·수집 → 데이터 정제 → 데이터 가공 → 데이터 학습 → 데이터 운영·활용
산출물 원시데이터 → 원천데이터 → 라벨링데이터 → 학습용데이터 → 학습용데이터(공개용)단계마다 품질 활동이 붙는다. 수집 단계의 개인정보 자가점검과 법적 근거 검토, 정제 단계의 비식별화, 가공 단계의 라벨링 방법·기준 관리, 학습 단계의 구축 목적과 AI 모델 요구의 정합성 확인, 운영 단계의 지속적 품질 관리다.
이 흐름은 모듈 18b 레슨 8의 검증 파이프라인(M1 정합성 → M2 유효성 → M3 정성 → M4 리포터)과 겹쳐 놓으면 좋다. 파이프라인은 어떻게 검증하는가, 가이드라인 프레임워크는 어느 단계의 어떤 산출물을 검증하는가 를 정한다.
후속 판 v3.5 — 판 선택이 시험 범위를 바꾼다
NIA는 2025년 5월 v3.5 를 발간했다. 보도된 구성은 이렇다.
| 권 | 내용 |
|---|---|
| 1권 | AI 데이터 품질관리 프레임워크 |
| 2권 | 데이터 구축 방법론과 오류 대응 전략 실무 사례 |
| 3권 | 생성형 AI 데이터 특화 품질관리 방법 |
가장 큰 변화는 멀티모달 데이터·합성 데이터 등 생성형 AI 데이터 특성에 맞춘 신규 지표와 구축 방법론 이다. 판 이름도 "인공지능 학습용 데이터"에서 "AI 데이터"로 넓어졌다.
모듈 32 레슨 7의 판 추적이 여기서 곧바로 실무 문제가 된다.
인정범위의 판 v3.1
사업 과업지시서의 판 v3.1 인가, v3.5 인가, "최신판"인가
구축 대상 데이터 합성 데이터 포함? 멀티모달?과업지시서가 v3.5를 지정하고 합성 데이터를 구축한다면, v3.1 기준 시험으로는 v3.5가 새로 정한 지표에 대한 판정이 비게 된다. 반대로 "최신판"이라고만 적힌 계약은 사업 도중 판이 바뀌면 기준이 바뀐다. 모듈 35 레슨 4에서 MISRA C 판 전환이 편차를 대량으로 새로 요구했던 것과 같은 구조다. 사업 착수 시 판을 고정 하고, 판이 바뀌면 적용 여부를 발주처와 서면으로 합의한다.
빅데이터 플랫폼 및 센터 데이터 품질관리 가이드 — 체계와 진단
두 번째 가이드는 대상이 다르다. 과기정통부·NIA가 추진한 빅데이터 플랫폼과 센터 의 데이터 담당자를 위해 만든 문서로, 2021년에 발간되고 이후 공유되었다. NIA 안내에 따르면 21개 빅데이터 플랫폼과 240개 센터의 실무자를 대상으로 했다.
학습용 데이터 가이드라인이 데이터셋을 만드는 사업 을 본다면, 이 가이드는 데이터를 계속 유통·관리하는 조직 을 본다. 그래서 구성이 체계와 진단 중심이다.
| 구성 | 내용 |
|---|---|
| 데이터 관리 체계 | 데이터 품질관리 체계, 데이터 연계관리 체계, 데이터 정보보호 관리 체계 |
| 관리 기준·품질 진단 | 데이터 품질관리 기준, 품질관리 지표, 품질진단 기법, 성숙도 평가 모델, 품질진단 방법 |
| 부록·핸드북 | 산출물 서식, 실무자용 핸드북 |
품질 진단 절차는 다섯 단계다.
진단 정의 → 진단 수행 → 진단 결과 분석 → 개선 수행 → 품질 통제이 다섯 단계는 모듈 7 레슨 6의 프로세스 개선 순환, 모듈 32 레슨 5의 부적합·시정조치 흐름과 모양이 같다. 마지막 품질 통제 가 있다는 점이 중요하다. 진단은 한 번의 시험이 아니라 개선이 유지되는지 계속 확인하는 순환 이다.
성숙도 평가 모델 은 모듈 18b 레슨 7에서 본 ISO 8000-61/62의 관리 체계 관점, 모듈 25 레슨 6의 프로세스 평가와 같은 계열이다. "이 조직의 데이터가 지금 좋은가"가 아니라 "이 조직이 데이터 품질을 우연히가 아니라 체계적으로 관리하는가" 를 본다.
가이드의 지표를 시험 항목으로 옮기는 틀
두 가이드는 각각 품질 기준과 지표를 제시한다. 지표의 정확한 이름과 목표값은 사업이 인용한 판의 원문 에서 가져와야 한다. 판마다 지표 체계가 조정되어 왔고, 사업 유형(구축 데이터 종류)에 따라 적용 지표가 달라지기 때문이다. 이 레슨에서는 지표 이름을 외우는 대신, 어떤 판의 어떤 지표든 시험 항목으로 옮기는 틀 을 세운다.
| 가이드 지표 | 적용 단계·산출물 | 대응 국제 측정 | 측정 방법 | 표본 | 목표값(출처: 판·쪽) | 결정 규칙 | 증거 |"대응 국제 측정" 칸 이 이 표의 핵심이다. 국내 가이드의 지표 대부분은 모듈 18b 레슨 7의 25024 특성(완전성·일관성·정확성·현재성 등)이나 5259-2 측정과 대응을 찾을 수 있다. 대응을 적어 두면 세 가지가 좋아진다.
- 측정 방법이 표준화된다 — 가이드의 설명이 짧아도 25024 측정량의 공식을 빌려 쓸 수 있다
- KOLAS 성적서에서 방법 식별이 명확해진다 — 모듈 32 레슨 6의 7.8.2.1 f)
- 해외 제출용으로 재사용된다 — 같은 결과를 국제표준 언어로 다시 보고할 수 있다
"표본" 칸 은 모듈 18b 레슨 8에서 전수 검수가 불가능하다고 한 이유와 이어진다. 가이드가 전수 점검과 표본 점검을 구분해 요구한다면 그대로 따르고, 표본이라면 추출 방법과 크기, 그리고 표본 결과로 전체를 판정하는 결정 규칙(예: 오류율 추정치의 신뢰구간 상한)을 적는다. 모듈 36 레슨 2의 판정 기준 합의서에서 결정 규칙을 적었던 것과 같다.
"목표값(출처: 판·쪽)" 칸 은 가장 자주 비는 칸이다. 목표값을 기억이나 이전 사업 문서에서 옮겨 적으면 판이 바뀌었을 때 틀린다. 판과 쪽까지 적어서 대조 가능하게 만든다.
단계별 점검을 시험 계획으로 — 누가 무엇을 언제
학습용 데이터 구축 사업에서 품질 활동은 대개 세 층이 겹친다.
| 층 | 수행 주체 | 시점 | 성격 |
|---|---|---|---|
| 자가점검 | 구축 수행기관 | 단계마다 | 공정 내 점검 |
| 품질 검증 | 사업 관리 측이 지정한 검증 조직 | 단계 산출물·최종 산출물 | 독립 검증 |
| 시험·인증 | 시험기관 (KOLAS 인정범위에 가이드 포함 시) | 최종 산출물 | 제3자 시험 성적서 |
세 층이 같은 지표를 서로 다른 표본으로 재면 결과가 어긋날 수 있다. 자가점검은 전 구간에서 1%, 검증은 특정 구간에서 3%, 시험은 층화 표본에서 2%가 나오는 식이다. 모듈 35 레슨 5에서 제조사와 시험소의 정적 분석 결과를 대조표로 설명한 것처럼, 데이터 품질에서도 표본 추출 방법·구간· 판정 규칙의 차이 로 결과 차이를 설명하는 대조표가 필요하다.
그리고 모듈 36 레슨 2에서 AI 평가의 재평가 조건이 데이터 변화에 걸린다고 했는데, 데이터셋 자체가 산출물인 사업에서는 데이터 수정 이력 이 그 역할을 한다. 검증 이후 레이블을 수정했다면 어느 범위를 다시 점검할지 규칙이 있어야 한다.
실무에서 왜 필요한가
공공 AI 데이터 구축 사업은 규모가 크고 산출물 검수가 엄격하다. 이 영역에서 QA가 가장 먼저 해야 하는 일은 과업지시서가 인용한 가이드의 판을 확정하고, 그 판의 지표를 시험 항목표로 옮기는 것 이다. 이 표가 사업 착수 시점에 없으면, 수행기관·검증 조직·시험기관이 각자 다른 판과 다른 표본으로 재다가 최종 단계에서 결과가 어긋난다.
국제 측정과의 대응은 비용을 줄인다. 같은 데이터셋을 국내 사업 납품과 해외 제출(또는 모듈 18b 레슨 7의 DQ 인증)에 함께 쓰려면, 측정을 두 번 하지 않고 한 번 재고 두 언어로 보고 할 수 있어야 한다.
빅데이터 플랫폼 가이드의 진단 순환은 운영 조직의 QA에게 연간 계획의 뼈대를 준다. 진단을 한 번의 이벤트로 끝내면 개선이 유지되는지 알 수 없다. 품질 통제 단계를 운영 대시보드(모듈 22 레슨 8)와 연결하면 진단이 순환이 된다.