개념
모듈 18b 레슨 4에서 한 걸음 더
모듈 18b 레슨 4에서 편향을 대조 테스트 로 찾았다. 이름이나 표현만 바꾼 입력을 넣어 답이 달라지는지 봤다. 좋은 출발점이지만 세 가지가 남는다. 그 편향이 어디서 왔는지, 얼마나 큰지를 어떤 숫자로 말할지, 그리고 한 번 찾고 끝나는 것이 아니라 개발 전 과정에서 어떻게 다룰지 다.
ISO/IEC TR 24027:2021은 이 세 질문에 대한 정리다. 모듈 32 레슨 7에서 짚었듯 TR(기술 보고서) 이므로 충족해야 할 요구사항은 없다. 대신 편향을 분류하는 공통 어휘, 측정 지표, 수명주기별 처리 방법의 목록을 준다. 시험 담당자에게 이 문서의 쓸모는 판정 기준을 의뢰자와 합의할 때 쓰는 표준 목록 이다.
먼저 용어 — 모든 편향이 문제는 아니다
이 문서는 편향을 넓게 정의한 뒤 원치 않는 편향(unwanted bias) 을 구분한다. 스팸 필터가 스팸 쪽으로 "치우친" 것은 설계 목적이다. 문제는 목표에 없던 치우침, 특히 특정 집단에 체계적으로 불리한 결과를 만드는 치우침이다.
이 구분은 시험 계획의 첫 줄을 바꾼다. "편향이 없는가"는 시험할 수 없는 질문이다. "이 시스템에서 원치 않는 편향은 무엇이고, 어떤 집단 사이에서, 어떤 결과에 대해 측정할 것인가" 로 바꿔야 시험이 된다. 모듈 2에서 요구사항을 검증 가능하게 바꾸던 작업이 여기서 되풀이된다.
출처 첫째 — 인간 인지 편향
6장은 원치 않는 편향의 출처를 세 갈래로 나눈다. 첫 갈래는 사람 이다. 데이터를 모으고, 레이블을 붙이고, 요구사항을 쓰고, 결과를 해석하는 사람의 인지 편향이 시스템으로 옮겨 간다.
| 인지 편향 | 뜻 | AI 개발에서 나타나는 모습 |
|---|---|---|
| 자동화 편향 | 자동화된 시스템의 판단을 과신 | 모델 추천을 검토 없이 승인 → 오류가 레이블로 되먹임 |
| 집단 귀인 편향 | 개인의 특성을 집단 전체로 일반화 | 특정 지역 사례 몇 건으로 규칙 설계 |
| 암묵적 편향 | 자각하지 못한 연상 | 레이블러의 무의식적 판단 차이 |
| 확증 편향 | 기대에 맞는 정보를 선호 | 가설을 지지하는 지표만 보고 |
| 내집단 편향 | 자기 집단을 우호적으로 판단 | 개발팀과 비슷한 사용자로만 사용성 시험 |
| 외집단 동질성 편향 | 다른 집단을 균질하다고 인식 | 소수 집단 데이터를 세분화하지 않음 |
| 사회적 편향 | 사회에 이미 존재하는 불평등 | 과거 채용 결정 데이터에 담긴 차별 |
| 규칙 기반 시스템 설계 | 규칙을 만든 사람의 편향이 규칙에 고정 | 전문가 규칙의 예외 처리가 특정 집단에 불리 |
| 요구사항 편향 | 요구사항 단계에서 이해관계자가 누락 | 고령자·장애인 사용 조건이 요구에 없음 |
마지막 두 줄이 QA에게 가장 가깝다. 요구사항 편향 은 모듈 2의 요구사항 리뷰에서 잡아야 하는 결함이고, 자동화 편향 은 모듈 18c에서 AI 출력을 교차검증하지 않고 받아들이는 실패와 같은 구조다.
출처 둘째 — 데이터 편향
| 데이터 편향 | 뜻 | 시험에서 확인할 것 |
|---|---|---|
| 통계적 편향 | 표본 추정치가 모집단 값과 체계적으로 다름 | 표본 추출 방법 |
| 레이블과 레이블링 과정 | 레이블 기준·라벨러 차이 | 라벨러 간 일치도, 집단별 레이블 오류율 |
| 비대표 표본 | 표본이 운영 모집단을 대표하지 못함 | 집단별 비율을 운영 분포와 대조 |
| 누락된 특성·레이블 | 특정 집단에 대해 정보가 체계적으로 빠짐 | 집단별 결측률 |
| 데이터 처리 | 정제·필터링이 특정 집단을 더 많이 제거 | 처리 단계 전후 집단 비율 |
| 심슨의 역설 | 전체에서의 경향이 하위 집단에서 뒤집힘 | 층화 분석 |
| 데이터 집계 | 서로 다른 집단을 합쳐 차이가 가려짐 | 집계 전 하위 집단 확인 |
| 분산 학습 | 참여 노드의 데이터 차이 | 노드별 분포 |
데이터 처리 줄을 놓치기 쉽다. "품질 낮은 이미지 제거" 규칙이 특정 피부톤이나 저가 기기에서 촬영된 이미지를 더 많이 걸러내면, 정제 과정이 대표성을 망가뜨린다. 레슨 3의 TS 4213 통제 기준 중 "전처리"와 "데이터 대표성"이 같은 문제를 다른 문서에서 본 것이다.
심슨의 역설 은 보고서에서 가장 큰 사고를 낸다. 전체 승인율은 집단 A가 높은데, 소득 구간별로 나눠 보면 모든 구간에서 집단 B가 높을 수 있다. 집단 구성이 구간마다 다르기 때문이다. 공정성 지표는 반드시 층화해서도 본다.
출처 셋째 — 공학적 결정
마지막 갈래는 개발팀의 설계 선택 이다.
| 결정 | 편향이 생기는 방식 |
|---|---|
| 특성 공학 | 우편번호처럼 보호 속성의 대리 변수(proxy)를 특성으로 사용 |
| 알고리즘 선택 | 다수 집단에 유리한 가정을 가진 알고리즘 |
| 하이퍼파라미터 튜닝 | 전체 성능 최적화가 소수 집단 성능을 희생 |
| 정보성 | 특성이 집단마다 다른 정도로 예측에 유익 |
| 모델 편향 | 모델 구조 자체가 특정 패턴을 과대·과소 표현 |
| 모델 상호작용 | 여러 모델이 연결되며 편향이 증폭 |
특성 공학 에서 가장 흔한 주장이 "우리는 성별·나이를 입력으로 쓰지 않는다"다. 보호 속성을 빼도 대리 변수 가 남으면 편향은 그대로다. 시험에서는 보호 속성을 입력에서 뺐는지가 아니라, 보호 속성을 모델 출력으로부터 예측할 수 있는지, 그리고 결과 지표가 집단별로 다른지를 본다.
하이퍼파라미터 튜닝 은 레슨 2의 판정 기준 합의와 직결된다. 튜닝 목표가 전체 정확도 하나면, 알고리즘은 다수 집단을 더 맞히는 쪽으로 움직인다. 튜닝 목표에 집단별 최저 성능 을 제약으로 넣지 않으면 이 편향은 정상적인 최적화의 결과로 생긴다.
공정성 지표 — 혼동 행렬을 집단별로 나눠 비교한다
7장의 지표들은 공통 출발점이 있다. 혼동 행렬을 집단별로 따로 만든다. 대출 승인 모델(양성 = 승인)로 보자.
| 지표 | 집단 간에 같아야 하는 것 | 말로 풀면 |
|---|---|---|
| 인구 통계적 동등성 | 양성 예측 비율 P(승인) | 집단마다 승인되는 비율이 같다 |
| 기회 균등 | 참양성률(재현율) | 실제로 상환할 사람 중 승인되는 비율이 같다 |
| 균등 승산 | 참양성률 과 거짓양성률 | 상환할 사람의 승인율과 상환하지 않을 사람의 승인율이 모두 같다 |
| 예측 동등성 | 거짓양성률 | 상환하지 않을 사람이 잘못 승인되는 비율이 같다 |
같은 모델을 네 지표로 재면 결론이 달라질 수 있다.
집단 A 집단 B
실제 상환 가능 600명 200명
실제 상환 불가 400명 800명
모델 승인 560명 330명
└ 상환 가능 중 510 (TPR 85%) 170 (TPR 85%)
└ 상환 불가 중 50 (FPR 12.5%) 160 (FPR 20%)
인구 통계적 동등성 승인율 56% vs 33% → 불충족
기회 균등 TPR 85% vs 85% → 충족
예측 동등성 FPR 12.5% vs 20% → 불충족
균등 승산 TPR 같음, FPR 다름 → 불충족이 예가 보여주는 것은 지표 사이의 충돌 이다. 집단 간 실제 상환 가능 비율(기저율)이 60% 대 20%로 다를 때, 승인율을 같게 만들면 (인구 통계적 동등성) 재현율이나 오승인율 중 하나가 어긋난다. 연구 문헌은 기저율이 다르면 여러 공정성 기준을 동시에 만족시킬 수 없다 는 결과를 보였다. 그래서 "공정한가"라는 판정은 어느 지표로 판단할지 먼저 합의 해야만 가능하다.
지표 선택은 기술 문제가 아니라 무엇이 해로운 오류인가 에 대한 판단이다.
| 과업 | 더 해로운 오류 | 중시할 지표 |
|---|---|---|
| 질병 선별 검사 | 환자를 놓침(거짓음성) | 기회 균등(집단별 재현율) |
| 부정 거래 차단 | 정상 고객을 차단(거짓양성) | 예측 동등성(집단별 오탐률) |
| 채용 서류 1차 선별 | 두 오류 모두 | 균등 승산 + 층화 분석 |
| 광고 노출 기회 배분 | 기회 자체의 편중 | 인구 통계적 동등성 검토 |
레슨 2의 판정 기준 합의서에 "사회·윤리적 위험 완화" 줄이 있었다. 그 줄의 측정 칸에 지표 이름, 비교할 집단, 허용 차이, 결정 규칙 (예: 차이의 신뢰구간 상한) 이 들어가야 한다. 집단이 작으면 차이의 불확실성이 크므로, 레슨 3의 통계적 판단이 여기서도 필요하다.
수명주기에 걸친 처리 — 8장을 시험 계획으로
8장은 원치 않는 편향을 기획 → 설계·개발 → 검증·확인 → 배포·운영 단계별로 다룬다. QA가 관여할 항목을 뽑아 시험 계획으로 옮기면 이렇다.
기획(inception)
- 외부 요구사항(법·규제)과 내부 요구사항(조직 정책) 확인
- 여러 분야 전문가 참여, 이해관계자 식별 — 영향을 받는 집단이 누구인가
- 데이터 출처의 선택과 문서화
- 외부 변화(인구·시장·제도 변화) 고려
- 인수 기준 — 편향 관련 합격 기준을 이 단계에서 정한다
설계·개발
- 데이터 표현과 레이블링 — 레이블 지침, 라벨러 구성
- 학습과 튜닝 — 집단별 성능 제약
- 편향 완화를 위한 적대적 방법
- 규칙 기반 시스템의 원치 않는 편향 점검
검증·확인
| 활동 | QA 시험으로 옮기면 |
|---|---|
| 학습 데이터와 데이터 준비의 정적 분석 | 집단별 비율·결측·처리 전후 제거율 리포트 |
| 레이블 표본 점검 | 집단별 층화 표본으로 레이블 오류율 추정 |
| 내적 타당성 시험 | 보유 시험셋에서 집단별 지표 산출 |
| 외적 타당성 시험 | 다른 기간·지역·채널 데이터에서 같은 지표 재산출 |
| 사용자 시험 | 영향받는 집단의 실제 사용자 참여 |
| 탐색적 시험 | 모듈 5의 탐색적 테스팅으로 예상 못 한 불공정 사례 탐색 |
배포·운영
- 지속적 모니터링과 확인 — 운영 데이터로 집단별 지표 추적
- 투명성 도구 — 결정 근거 설명, 이의 제기 경로
검증·확인 표의 마지막 두 줄이 이 문서에서 QA에게 가장 반가운 대목이다. 탐색적 시험 이 편향 처리 방법으로 명시되어 있다. 지표는 미리 정한 집단과 미리 정한 결과 만 본다. 아무도 생각하지 못한 집단(예: 이름에 특수문자가 들어간 사용자, 특정 방언 화자)에서의 불공정은 탐색으로 찾는다. 모듈 5에서 배운 차터 기반 세션을 "공정성 차터"로 운영하면 된다. 모듈 18b 레슨 4의 대조 테스트는 이 탐색에서 발견한 가설을 체계적으로 확인하는 도구로 이어진다.
실무에서 왜 필요한가
편향 문제는 대개 출시 후 외부의 지적 으로 드러난다. 그때 조직이 답해야 하는 질문은 "편향이 있는가"가 아니라 "어떤 기준으로 측정했고, 그 기준을 누가 왜 골랐는가" 다. 기획 단계에서 지표와 집단과 허용 차이를 합의하고 기록한 조직은 이 질문에 답할 수 있다. 기록이 없는 조직은 사후에 가장 유리한 지표를 골라 제시하게 되고, 그것은 신뢰를 더 잃는다.
지표 충돌을 이해하는 것은 협상력이다. 이해관계자 한쪽은 승인율 동등성을, 다른 쪽은 재현율 동등성을 요구할 때, 기저율이 다르면 둘을 동시에 만족시킬 수 없다는 사실을 숫자 예시로 보여줄 수 있어야 논의가 "어느 오류가 더 해로운가"로 옮겨 간다.
시험 담당자에게는 대리 변수와 데이터 처리 단계 가 가장 실용적인 점검 대상이다. 보호 속성을 입력에서 뺐다는 설명을 들으면, 보호 속성을 모델 출력으로 예측해 보고, 정제 단계 전후 집단 비율을 본다. 두 확인 모두 반나절이면 끝나고, 발견되면 설계 변경으로 이어진다.