개념
플레이 테스트와 기능 테스트는 묻는 질문이 다르다
기능 테스트는 "명세대로 동작하는가"를 묻는다. 플레이 테스트는 "플레이어가 의도한 경험을 하는가"를 묻는다. 같은 보스전을 두 방식으로 테스트하면 결과물이 전혀 다르다.
| 기능 테스트 | 플레이 테스트 | |
|---|---|---|
| 질문 | 보스 패턴 5종이 명세대로 나오는가 | 플레이어가 패턴을 읽고 대응법을 배우는가 |
| 수행자 | QA | 대상 플레이어층에 가까운 사람(사내 타 부서, 외부 모집) |
| 방식 | 테스트 케이스 수행 | 자유 플레이 관찰, 소리 내어 생각하기, 사후 설문 |
| 산출물 | 결함 리포트 | 관찰 기록, 사망·이탈 지점, 설문 점수, 개선 제안 |
| 합격 기준 | 기대 결과 일치 | 사전에 합의한 목표(클리어율, 소요 시간, 만족도) |
QA가 플레이 테스트를 운영할 때 가장 중요한 원칙은 관찰자는 개입하지 않는다 는 것이다. 참가자가 문 앞에서 3분째 헤매도 "그 레버 당기세요"라고 말하면 안 된다. 그 3분이 곧 데이터다. 관찰 기록은 이런 형식이 쓰기 편하다.
[플레이 테스트 관찰 기록] 빌드 0.8.412 / 참가자 P07 (액션 장르 주 5시간, 본작 처음)
00:04:10 튜토리얼 회피 입력 안내 스킵 (텍스트 읽지 않음)
00:09:35 첫 정예 몬스터에서 사망 1회 — 회피 대신 방어 연타
00:12:02 레버 앞 2분 40초 정지. 발언: "여기 뭘 하라는 거지?"
00:21:48 3장 입구 도달. 설문 난이도 4/5, 재미 3/5
관찰 요약: 회피 입력 안내가 텍스트 한 줄뿐이라 읽히지 않음 (P03·P07·P11 동일)마지막 줄처럼 여러 참가자에게 반복된 패턴 만 개선 제안으로 올린다. 한 명의 반응은 취향일 수 있지만, 12명 중 3명이 같은 곳에서 멈췄다면 설계의 문제다.
밸런스 테스트 1 — 경제의 획득처와 소모처
게임 경제는 재화가 들어오는 곳(source, 획득처)과 나가는 곳(sink, 소모처)의 흐름이다. 획득이 소모보다 계속 크면 재화가 쌓여 가치가 떨어지는 인플레이션이 오고, 소모가 크면 플레이어가 막혀 이탈한다. 밸런스 QA는 기획서의 수치를 모아 하루 순유입 을 계산해 본다.
| 구분 | 항목 | 하루 기대량(골드) |
|---|---|---|
| 획득 | 일일 퀘스트 | 5,000 |
| 획득 | 던전 3회 | 8,000 |
| 획득 | 잡템 판매 | 2,000 |
| 소모 | 장비 수리 | 3,000 |
| 소모 | 강화 시도 | 7,000 |
| 순유입 | +5,000 |
하루 +5,000이면 30일 뒤 플레이어는 150,000골드를 쌓는다. 그 시점 상점의 최고가 상품이 50,000골드라면 골드는 한 달 만에 의미를 잃는다. 이건 기획의 판단 사항이지만, QA가 이 계산을 붙여 "30일 차 골드 가치 소멸 위험"을 제기하면 명확한 검토 요청이 된다.
경제 테스트에서 특히 봐야 할 것은 무한 획득처 다. 판매가가 구매가보다 비싼 아이템(상점에서 100에 사서 150에 판다), 재입장으로 무한히 초기화되는 보물상자, 제한 없이 반복되는 퀘스트 보상은 하나만 있어도 경제 전체를 무너뜨린다. 상점 구매가·판매가 표를 뽑아 모든 아이템에서 판매가가 구매가 이하인지 확인하는 것은 스프레드시트 한 줄이면 되는 검증이다.
밸런스 테스트 2 — DPS와 TTK
전투 밸런스의 기본 지표는 초당 피해량(DPS)과 적을 쓰러뜨리는 데 걸리는 시간(TTK, time to kill)이다.
DPS = 1회 피해량 × 초당 공격 횟수 × (1 + 치명타 확률 × (치명타 배율 - 1))
TTK = 적 체력 ÷ DPS| 무기 | 1회 피해 | 초당 공격 | 치명 확률 | 치명 배율 | DPS | 체력 1,500 적 TTK |
|---|---|---|---|---|---|---|
| 돌격소총 | 30 | 10 | 10% | 2.0 | 330 | 4.5초 |
| 기관단총 | 18 | 18 | 5% | 2.0 | 340.2 | 4.4초 |
| 저격총 | 300 | 1 | 25% | 2.5 | 412.5 | 3.6초 |
기관단총 DPS는 18 × 18 × 1.05 = 340.2이고, 저격총은 300 × 1 × (1 + 0.25 × 1.5) = 412.5다. 표만 보면 저격총이 가장 강하지만, 저격총은 명중이 어렵고 한 발 빗나가면 1초를 잃는다. 그래서 이론 DPS와 함께 명중률을 반영한 실효 DPS 를 봐야 한다. 명중률이 60%라면 저격총 실효 DPS는 247.5로 떨어진다. QA는 이런 표를 만들어 "기획 의도(근거리는 기관단총, 원거리는 저격총 우위)와 수치가 맞는가"를 확인한다.
밸런스 테스트 3 — 승률, 선택률, 텔레메트리
대전 게임에서는 실제 플레이 데이터가 가장 강한 증거다. 텔레메트리는 게임이 서버로 보내는 플레이 기록(매치 결과, 캐릭터 선택, 사망 위치, 사용 스킬)이다.
| 캐릭터 | 선택률 | 승률 | 판정 |
|---|---|---|---|
| A | 31% | 56.2% | 과잉 강세 의심 |
| B | 12% | 50.4% | 정상 |
| C | 3% | 43.1% | 약세, 또는 숙련 필요형 |
| D | 9% | 58.0% | 표본 작음, 추가 관찰 |
승률은 표본 수와 함께 봐야 한다. 모듈 16과 레슨 6의 통계 감각이 여기서도 필요하다. 1만 판에서 56%와 200판에서 58%는 신뢰도가 전혀 다르다. 또 승률은 숙련도 구간별로 나눠야 한다. 초보 구간에서 45%, 상위 구간에서 60%인 캐릭터는 전체 승률이 50%여도 상위권 대회를 지배할 수 있다.
출시 전에는 텔레메트리가 없으므로 시뮬레이션 을 쓴다. 스프레드시트로 레벨별 성장 곡선과 던전 요구 전투력을 나란히 놓거나, 짧은 스크립트로 전투를 수만 번 돌린다.
# 1:1 전투 시뮬레이션 개요 (Python 의사 코드)
for 10,000회:
A, B 체력 초기화
while 둘 다 생존:
각자 공격 간격이 되면 명중 판정(난수) → 치명 판정(난수) → 피해 적용
승자 기록
결과: A 승률 61.3%, 평균 전투 시간 7.8초 → 기획 목표(45~55%) 이탈시뮬레이션은 수식과 확률을 기획서 그대로 옮긴 것이다. 그래서 시뮬레이션 결과와 실제 게임 결과가 다르면, 게임 구현이 기획서와 다르다는 증거 가 된다. 이 점에서 밸런스 시뮬레이션은 기능 테스트의 오라클 역할도 한다.
진행 차단 — 블로커, 소프트락, 하드락
게임에서 가장 비싼 결함은 플레이어가 더 이상 나아갈 수 없게 되는 것이다.
| 용어 | 뜻 | 예 | 복구 가능성 |
|---|---|---|---|
| 진행 차단(progression blocker) | 게임 진행에 필요한 조건을 만족할 수 없음 | 퀘스트 목표 NPC가 스폰되지 않음 | 경우에 따라 다름 |
| 소프트락 | 게임은 동작하지만 진행 불가능한 상태에 갇힘 | 구덩이에 빠졌는데 올라올 수 없고 자살 수단도 없음, 열쇠를 버렸는데 재획득 불가 | 재시작·이전 세이브로 탈출 가능할 수도 |
| 하드락 | 게임 자체가 멈춤(입력 무반응, 무한 로딩) | 컷신 도중 화면 정지 | 강제 종료만 가능 |
| 세이브 오염 소프트락 | 소프트락 상태가 자동 저장됨 | 갇힌 직후 체크포인트 저장 | 이전 세이브가 없으면 영구 |
소프트락이 특히 위험한 이유는 자동 저장과 만나면 영구화 되기 때문이다. 테스트할 때는 소프트락을 찾으면 반드시 "이 상태가 저장되는가, 재시작 후 어디서 시작하는가"를 이어서 확인한다.
소프트락을 찾는 전형적 질문은 이렇다.
- 진행에 필요한 아이템을 버리거나 팔거나 소모할 수 있는가
- 진행에 필요한 NPC가 죽거나 사라질 수 있는가
- 한 번만 열리는 문·다리·엘리베이터를 반대 방향에서 접근하면 어떻게 되는가
- 퀘스트 두 개가 같은 대상을 공유할 때 순서를 바꾸면 어떻게 되는가
- 조건을 만족한 순간 게임을 종료하면, 재접속 후 트리거가 다시 발동되는가
게임 전용 심각도 척도
모듈 6에서 심각도와 우선순위를 배웠다. 게임 회사는 대개 이를 게임에 맞춘 등급으로 쓴다. 이름은 회사마다 다르지만 구조는 비슷하다.
| 등급 | 정의 | 예 |
|---|---|---|
| 크래시(Crash) | 게임이 종료되거나 기기가 멈춤 | 인벤토리 정렬 시 앱 강제 종료 |
| 블로커(Blocker) | 진행 불가, 데이터 손실, 결제 손실, 인증 불합격 | 2장 퀘스트 완료 불가, 세이브 손상, 결제 후 미지급 |
| A (Major) | 핵심 기능·경험을 크게 해치지만 우회 가능 | 특정 스킬이 피해를 주지 않음, 보스가 벽에 끼어 무적 |
| B (Minor) | 눈에 띄지만 플레이에 큰 영향 없음 | 특정 각도에서 텍스처 깨짐, 효과음 한 개 누락 |
| C (Trivial) | 사소한 외관·텍스트 문제 | 오탈자, 1픽셀 UI 어긋남 |
심각도 판정에는 재현률 과 영향 범위 를 함께 적는다. "B급이지만 모든 플레이어가 첫 5분에 본다"면 우선순위가 올라가고, "A급이지만 특정 기기 1종에서 10회 중 1회"라면 내려갈 수 있다. 또 게임에서는 다음 결함을 등급과 무관하게 한 단계 올려 보는 관행이 흔하다.
- 결제·재화·확률과 관련된 모든 결함
- 세이브·계정 데이터 손실
- 콘솔 인증·스토어 정책·등급분류 위반 가능성
- 다른 플레이어에게 피해를 주는 멀티플레이 결함과 익스플로잇
재현 증거 — 게임 결함 리포트의 필수 첨부
게임 결함은 재현 조건이 복잡해서, 모듈 6의 재현 절차만으로는 부족한 경우가 많다. 게임 결함 리포트에는 다음이 들어가야 한다.
| 증거 | 왜 필요한가 |
|---|---|
| 빌드 번호·플랫폼·기기 | 어느 빌드부터 발생했는지, 특정 플랫폼 한정인지 |
| 영상(발생 전 30초 포함) | 조작 순서와 타이밍을 말보다 정확히 전달 |
| 세이브 파일 | 개발자가 같은 상태에서 바로 시작 |
| 좌표·맵 이름 | 레벨 결함의 위치 특정 |
| 난수 시드 | 절차 생성 맵·드롭 결과를 동일하게 재현 |
| 콘솔(치트) 명령어 | 결함 상태까지 빠르게 도달하는 경로 |
| 로그·크래시 덤프 | 크래시 원인 추적 |
| 재현률 | "10회 중 7회" — 간헐 결함의 무게 |
개발 빌드에는 대개 테스트용 콘솔 명령어가 있다. 결함 상태에 도달하는 경로를 명령어로 적어 두면 재현 시간이 몇 시간에서 몇 초로 줄어든다.
[결함] 2장 "잃어버린 열쇠" 퀘스트 — 열쇠 판매 후 진행 불가(세이브 오염 소프트락)
빌드: 0.9.1033 (PC, Steam) / 재현률: 5/5
심각도: 블로커 (진행 불가 + 자동 저장으로 영구화)
재현:
1) 콘솔: quest_set Q2_LostKey stage=2 (열쇠 획득 직후 단계)
2) 상인 NPC에게 "녹슨 열쇠" 판매 — 판매 가능 표시됨
3) 지역 이동 → 자동 저장 발생
4) 퀘스트 목표 "문을 연다" 수행 불가, 상인 재구매 목록에 열쇠 없음
기대: 퀘스트 아이템은 판매·버리기 불가, 또는 분실 시 재획득 경로 제공
첨부: 영상(1분 12초), 세이브 slot03.sav, 좌표 (1204.5, 88.0, -330.2)익스플로잇 — 의도하지 않은 이득
익스플로잇은 게임 규칙의 빈틈을 이용해 의도하지 않은 이득을 얻는 것이다. 벽을 뚫고 지름길로 가는 것, 적 AI가 공격하지 못하는 위치에서 일방적으로 공격하는 것, 재화를 복제하는 것이 모두 여기 속한다.
익스플로잇 판정의 기준은 다른 플레이어와 경제에 미치는 영향 이다. 싱글 게임의 벽 통과 지름길은 스피드런 문화에서 즐거움이 되기도 하지만, 온라인 게임의 재화 복제는 경제 전체를 망친다. 익스플로잇을 발견하면 재현 절차를 결함 관리 도구의 접근 제한 영역 에 올린다. 라이브 게임에서 익스플로잇 재현 절차가 사내 메신저로 퍼지면 그 자체가 유출 위험이다. 복제와 치트는 레슨 5에서 서버 검증 관점으로 다시 다룬다.
실무에서 왜 필요한가
밸런스 결함은 수치 없이 설득되지 않는다. "이 캐릭터가 너무 세요"는 기획자에게 수십 번 듣는 말이다. "상위 구간 승률 60.2%(표본 12,400판), 시뮬레이션 1:1 승률 61%"는 한 번에 회의 안건이 된다.
소프트락은 리뷰 폭탄으로 이어진다. 수십 시간 진행한 세이브가 갇히면 플레이어는 환불을 요청하고 스토어에 최저 평점을 남긴다. 진행 차단 탐색은 출시 전 QA가 할 수 있는 가장 가치 있는 일 중 하나다.
심각도 척도가 같아야 트리아지가 빨라진다. QA·기획·개발이 "A급"의 뜻에 합의해 두지 않으면 매일의 버그 트리아지 회의가 등급 논쟁으로 끝난다. 척도표와 예시를 테스트 계획서에 넣어 두는 것만으로 회의 시간이 줄어든다.
재현 증거가 수정 속도를 결정한다. 세이브 파일과 콘솔 명령어가 붙은 리포트는 개발자가 몇 분 안에 재현한다. 증거 없는 "가끔 퀘스트가 안 깨져요"는 몇 주 동안 "재현 불가"로 떠돈다.
채용시장에서의 위치
게임 QA 공고에서 "밸런스 검증", "데이터 기반 테스트", "SQL·로그 분석 가능자"가 우대사항으로 늘고 있다. 라이브 게임 회사는 텔레메트리 대시보드를 보고 이상 징후를 먼저 알아채는 QA를 원한다. 스프레드시트로 DPS·경제 표를 만들 수 있다는 것만으로도 기능 테스트 위주 지원자와 구분된다.
면접에서는 "진행 불가 버그를 찾는 본인만의 방법", "심각도를 어떻게 판정하는가", "밸런스 이상을 어떻게 증명하겠는가"가 자주 나온다. 좋은 답은 이 레슨의 질문 목록(아이템 소실, NPC 소실, 일방향 문, 퀘스트 순서, 종료 타이밍)을 절차로 말하고, 증거(세이브·영상·재현률)로 마무리하는 답이다. 포트폴리오에 재현 증거를 갖춘 결함 리포트 샘플과 밸런스 계산표 한 장을 넣어 두면 실무 투입 가능성을 보여 줄 수 있다.