개념
모델을 아무리 검증해도 풀리지 않는 문제
앞의 여섯 레슨에서 우리는 계속 모델의 출력 을 봤다. 환각을 탐지하고, RAG의 검색과 생성을 나눠 보고, 편향을 찾고, 비결정성을 통계로 다루고, 규제의 흐름을 살폈다. 그런데 현장에서 이 방법들을 다 동원하고도 답이 안 나오는 상황이 있다.
평가셋을 늘려도 점수가 오르지 않는다. 프롬프트를 아무리 다듬어도 특정 유형의 질문에서만 계속 틀린다. 그런데 그 유형의 학습데이터를 열어보니 레이블이 절반쯤 잘못 붙어 있었다.
이런 경우 모델 쪽에서 할 수 있는 일은 거의 없다. 품질 문제의 원인이 검증 대상보다 상류에 있기 때문이다. 소프트웨어 QA에서 "테스트로 품질을 넣을 수 없다"고 말하는 것과 같은 구조다. 코드 품질이 나쁘면 테스트를 늘려도 한계가 있듯, 데이터 품질이 나쁘면 평가를 정교하게 해도 한계가 있다.
이 레슨과 다음 레슨은 그래서 시선을 상류로 옮긴다. 이번 레슨은 데이터 품질을 무엇으로 재는가(표준과 인증 제도), 다음 레슨은 그것을 어떻게 자동으로 검증하는가(파이프라인)를 다룬다.
데이터 품질은 세 층으로 나뉜다
"데이터 품질이 좋다"는 말도 "소프트웨어 품질이 좋다"만큼이나 모호하다. 레슨 2에서 ISO/IEC 25010이 소프트웨어 품질을 여덟 갈래로 쪼갠 것처럼, 데이터 품질도 층을 나눠야 이야기가 된다. 실무에서 통용되는 구분은 셋이다.
| 층 | 무엇을 보는가 | 질문의 예 |
|---|---|---|
| 구조 | 스키마·형식·타입이 정의대로인가 | 필수 필드가 비어 있지 않은가? 날짜 형식이 일관적인가? |
| 내용 | 값이 실제로 맞는가, 쓸 만한가 | 레이블이 정확한가? 중복·이상치는? 편중돼 있지 않은가? |
| 관리 체계 | 품질을 지속적으로 유지하는 조직 능력이 있는가 | 품질 기준이 문서화돼 있는가? 문제 발견 시 처리 절차가 있는가? |
이 세 층은 비용과 난이도가 완전히 다르다. 구조는 규칙으로 대부분 자동 검사되고, 내용은 판단이 필요하며, 관리 체계는 사람과 프로세스의 문제다. 그리고 각 층에 대응하는 국제표준이 따로 있다.
정형 데이터의 내용 — ISO/IEC 25024
ISO/IEC 25024 는 우리가 레슨 3(모듈 25)에서 본 SQuaRE 계열의 한 가지다. 25010이 소프트웨어 제품 품질을, 25023이 그 측정을 다뤘다면, 25024는 데이터 품질의 측정 을 다룬다. 짝이 되는 품질 모델은 ISO/IEC 25012(데이터 품질 모델)다.
25012가 정의하는 데이터 품질 특성은 이런 것들이다.
- 정확성(Accuracy) — 값이 실제 대상을 올바르게 나타내는가
- 완전성(Completeness) — 있어야 할 값이 다 있는가
- 일관성(Consistency) — 서로 모순되는 값이 없는가
- 신뢰성(Credibility) — 출처를 믿을 수 있는가
- 최신성(Currentness) — 시점이 지금 쓰기에 적절한가
- 그 밖에 접근성·준수성·기밀성·효율성·정밀성·추적성·이해성·가용성· 이식성·복구성
25024는 이 특성들에 대해 측정량과 공식 을 제공한다. 형태는 25023과 같다.
완전성 = (값이 채워진 항목 수) / (채워져야 할 항목 수)
일관성 = (제약을 위반하지 않는 레코드 수) / (전체 레코드 수)
정확성 = (기준값과 일치하는 값의 수) / (검사한 값의 수)여기서 레슨 3에서 배운 원칙이 그대로 반복된다. 규격은 자를 주고, 눈금은 조직이 긋는다. "완전성이 0.98 이상이어야 한다"는 문장은 규격에 없다.
비정형 데이터와 AI 학습데이터 — ISO/IEC 5259 시리즈
정형 데이터에는 25024가 있지만, AI 학습에 쓰이는 데이터는 대부분 텍스트·이미지·음성·문서다. 이런 비정형 데이터에는 "필수 필드 누락률" 같은 지표를 그대로 적용하기 어렵다. 이미지 한 장의 '정확성'은 무엇인가?
이 빈칸을 메우기 위해 만들어진 것이 ISO/IEC 5259 시리즈(Artificial intelligence — Data quality for analytics and machine learning)다. 그중 ISO/IEC 5259-2 가 AI·머신러닝 학습용 데이터의 품질 측정 방법 을 정의한다.
이 시리즈가 기존 데이터 품질 표준과 다른 지점은 학습에 쓰인다는 사실 자체에서 나오는 요구 를 다룬다는 것이다.
| 학습데이터 고유의 관심사 | 왜 중요한가 |
|---|---|
| 레이블(주석)의 정확성 | 잘못된 정답으로 학습하면 모델은 잘못된 규칙을 익힌다 |
| 레이블의 일관성 | 작업자마다 기준이 다르면 모델이 배울 규칙 자체가 흔들린다 |
| 대표성·분포 균형 | 특정 집단이 과소 대표되면 레슨 4의 편향 문제로 직결된다 |
| 중복·누출(leakage) | 학습셋과 평가셋이 겹치면 성능이 과대평가된다 |
| 출처와 사용 권한 | 저작권·개인정보 문제는 성능이 아니라 존폐의 문제다 |
모듈 18b의 앞선 레슨들과 연결해보면 구조가 보인다. 레슨 4에서 다룬 편향은 대개 데이터 분포에서 온다. 레슨 2의 환각도 학습데이터의 부정확한 서술과 무관하지 않다. 즉 데이터 품질 검증은 출력 검증의 상류 대책 이다.
관리 체계 — ISO 8000-61/62
셋째 층은 조직의 능력이다. ISO 8000-61 은 데이터 품질 관리 프로세스 를, ISO 8000-62 는 그 프로세스의 성숙도 평가 를 규정한다.
성숙도 모델이라는 말이 낯설다면, 모듈 25(레슨 6)에서 본 Automotive SPICE나 CMMI를 떠올리면 된다. "이 조직이 데이터 품질을 우연히 잘 하고 있는가, 아니면 재현 가능한 절차로 하고 있는가"를 단계로 평가하는 방식이다.
핵심 질문은 대체로 이렇다.
- 데이터 품질 요구사항이 문서로 정의돼 있는가
- 품질을 정기적으로 측정 하는가, 그 결과가 기록되는가
- 문제가 발견됐을 때 처리 절차 가 있는가(누가, 어떻게, 언제까지)
- 원인을 제거하는 개선 활동 으로 이어지는가
- 이 모든 것이 사람이 바뀌어도 유지 되는가
마지막 줄이 성숙도 모델의 본질이다. 특정 개인의 성실함에 의존하는 품질은 아직 체계가 아니다.
DQ인증 — 국내 제도로 본 데이터 품질 심사
이 표준들이 국내에서 제도로 구현된 것이 DQ인증(데이터 품질 인증) 이다. 「데이터 산업진흥 및 이용촉진에 관한 기본법」에 근거해 운영되며, 데이터의 구조·내용·관리 체계 를 진단·평가한다. 앞에서 나눈 세 층이 그대로 심사 유형이 된다.
| 심사 유형 | 적용되는 주요 국제표준 |
|---|---|
| 데이터 내용 — 정형 | ISO/IEC 25024 (데이터 품질 측정 방법) 등 |
| 데이터 내용 — 비정형 | ISO/IEC 5259-2 (AI·머신러닝 학습용 데이터 품질 측정) 등 |
| 데이터 관리 체계 | ISO 8000-61 / ISO 8000-62 (품질관리 프로세스·성숙도) 등 |
레슨 7(모듈 25)에서 본 구조가 여기서도 반복된다. 국내 인증 제도가 국제표준을 근거로 삼고, 심사 항목이 그 표준의 측정량에서 나온다. GS인증이 ISO/IEC 25023·25051 위에 서 있는 것과 같은 방식이다.
등급 체계 — 0.95라는 바닥선의 의미
DQ인증의 등급 판정 구조는 QA 관점에서 특히 눈여겨볼 만하다.
공통 요건: 모든 개별 심사 항목이 0.95 이상
↓ (이걸 넘긴 뒤에)
Class A : 데이터 품질 점수 0.99 이상
Class B : 데이터 품질 점수 0.97 이상
Class C : 데이터 품질 점수 0.95 이상
인증 유효기간: 1년여기에 두 가지 설계 의도가 들어 있다.
첫째, 평균으로 가리지 못하게 한다. 총점만 봤다면 어떤 항목이 0.60이어도 다른 항목들이 만점이면 통과할 수 있다. 하지만 모든 개별 항목이 0.95 이상 이라는 공통 요건이 그 길을 막는다. 모듈 11에서 배운 커버리지 지표의 함정 — 전체 수치는 높은데 중요한 영역이 비어 있는 상황 — 을 제도적으로 차단한 것이다.
둘째, 유효기간 1년은 데이터가 상한다는 사실의 인정이다. 소프트웨어 인증도 갱신이 있지만, 데이터는 이유가 더 직접적이다. 데이터는 시간이 지나면 현실과 어긋난다. 작년의 주소 데이터, 작년의 상품 분류, 작년의 언어 사용 방식. 코드는 가만히 두면 그대로지만, 데이터는 가만히 두면 틀려진다.
비정형 심사가 실제로 무엇을 보는가
비정형 데이터 심사는 6개 품질 기준·24개 세부 항목 규모로 구성된다. 항목의 정확한 목록과 계산식은 제도 문서를 따라야 하지만, QA가 미리 감을 잡아둘 수 있도록 어떤 성격의 항목들이 나오는지 유형으로 정리하면 다음과 같다.
| 성격 | 검사하는 것 | 자동화 난이도 |
|---|---|---|
| 구조·형식 | 파일 포맷, 인코딩, 해상도·길이 규격, 스키마 준수 | 낮음(규칙으로 전부) |
| 완전성 | 누락 파일, 빈 주석, 짝이 안 맞는 원본–레이블 쌍 | 낮음 |
| 중복·유일성 | 동일·근사 중복, 학습·평가셋 간 누출 | 중간(해시·임베딩 필요) |
| 레이블 정확성 | 주석이 대상과 실제로 맞는가 | 높음(판단 필요) |
| 일관성 | 같은 대상에 같은 기준이 적용됐는가 | 높음 |
| 분포·대표성 | 클래스 불균형, 특정 집단 과소 대표 | 중간(통계) |
오른쪽 열이 다음 레슨의 출발점이다. 자동화가 쉬운 것과 어려운 것이 섞여 있고, 어려운 쪽이 품질에 더 결정적 이라는 사실. 여기서 "정량 검증과 정성 검증을 나눠서 다르게 처리한다"는 설계가 나온다.
인증 기준을 그대로 내부 기준으로 쓰면 안 되는 이유
여기서 실무자가 자주 하는 착각이 하나 있다. "인증 기준이 0.95니까 우리 내부 기준도 0.95로 하자"는 것이다. 그런데 판정 방식이 다르면 기준도 달라야 한다.
- 규칙 기반 정량 검증 — 필수 필드 누락, 형식 위반, 참조 무결성 위반. 이런 것들은 판정이 결정적 이다. 위반이면 위반이다. 여기서 "95%만 맞으면 통과"는 이상하다. 5%의 깨진 레코드를 왜 남겨두는가?
- 판단 기반 정성 검증 — 레이블이 적절한가, 문서 요약이 원문을 왜곡하지 않았는가. 이런 것들은 사람끼리도 의견이 갈린다. 여기서 100%를 요구하면 달성 불가능한 기준이 되고, 결국 아무도 지키지 않는 숫자가 된다.
그래서 실제 운영에서는 기준을 갈라 잡는 것이 합리적이다. 예를 들어 KT가 공개한 학습데이터 검증 파이프라인은 정량 검증은 준수율 100%(오류 0건), 정성 검증은 통과율 95% 이상 을 자체 기준으로 삼고, 둘을 모두 만족해야 사내 데이터 카탈로그에 공개하는 방식을 쓴다.
원칙: 결정적으로 판정되는 것에는 무관용 기준을, 판단이 개입하는 것에는 통계적 기준을 적용한다. 하나의 숫자로 뭉뚱그리면 둘 다 망가진다.
이 원칙은 모듈 14에서 배운 품질 게이트 설계 와 정확히 같은 사고다. 빌드 실패는 0건이어야 하지만, 플래키 테스트 통과율은 임계값으로 관리하는 것과 같다.
실무에서 왜 필요한가
AI 기능을 만드는 팀에 QA로 합류하면, 첫 몇 주 안에 반드시 마주치는 질문이 있다. "이 데이터셋을 써도 됩니까?" 모델 평가 방법론만 알고 있으면 이 질문에 답할 수 없다. 데이터 자체를 검사할 도구와 기준이 필요하다.
데이터 품질 표준을 알아두면 그 답이 의견이 아니라 측정 이 된다. "이 데이터셋은 좀 지저분해 보입니다"와 "필수 항목 누락률 3.2%, 학습·평가셋 중복 412건, 클래스 불균형 최대 40:1입니다"는 회의실에서 전혀 다른 무게를 갖는다. 레슨 3(모듈 25)에서 배운 그대로다 — 숫자로 말하는 QA와 말로만 말하는 QA의 차이.
제도 측면에서도 실익이 있다. 공공 데이터 사업, AI 학습데이터 구축 사업, 데이터 거래·유통을 겨냥하는 조직이라면 DQ인증은 조달·계약 요건으로 등장한다. 모듈 25 레슨 7에서 본 GS인증과 같은 구조다. 그리고 그때 필요한 산출물 — 품질 기준 문서, 측정 결과 기록, 문제 처리 이력 — 은 QA가 평소에 만드는 것들이다. 평소에 굴려두면 정리 작업, 아니면 창작 작업.
마지막으로, 데이터 품질 검증은 AI 규제 대응의 실질적 내용 이기도 하다. 레슨 6에서 본 규제들이 요구하는 "학습데이터의 적절성·대표성 확보와 문서화"는 결국 이 레슨에서 다룬 측정과 기록을 말한다.