데이터를 모았는데 어떤 검정을 써야 할지 막막할 때가 많습니다. 다행히 대부분의 기본적인 분석은 세 가지 질문에 답하면 알맞은 검정이 정해집니다. 이 글에서는 그 질문들과 결정표, 각 검정의 가정과 점검 방법을 정리합니다.
먼저 답할 세 가지 질문
1. 결과 변수는 어떤 유형인가요
- 연속형(수치형): 키, 점수, 매출, 반응 시간처럼 평균을 계산할 수 있는 값
- 범주형: 성별, 구매 여부, 선호 브랜드처럼 항목으로 나뉘는 값. 데이터는 보통 빈도(몇 명)로 정리됩니다.
리커트 5점 척도처럼 순서가 있는 범주(순서형)는 문항 하나라면 비모수 검정을, 여러 문항의 합산 점수라면 연속형처럼 다루는 경우가 많습니다.
2. 몇 개의 집단을 비교하나요
한 집단을 기준값과 비교하는지, 두 집단을 비교하는지, 세 집단 이상을 비교하는지 확인합니다. 집단 비교가 아니라 두 변수의 관계를 보려는 것이라면 상관·회귀로 갑니다.
3. 측정이 서로 짝지어져 있나요(대응 여부)
- 독립: 서로 다른 사람들로 이루어진 두 집단(A반과 B반)
- 대응: 같은 대상을 두 번 측정(사전·사후)했거나, 쌍둥이·부부처럼 짝이 정해진 경우
대응 데이터를 독립 검정으로 분석하면 개인차가 오차에 섞여 검정력이 크게 떨어집니다. 반대로 독립 데이터를 대응 검정으로 분석하는 것은 잘못입니다.
결정표
| 목적 | 데이터 | 모수 검정 | 비모수 대안 |
|---|---|---|---|
| 한 집단 평균을 기준값과 비교 | 연속형 | 일표본 t검정 | 윌콕슨 부호순위 검정 |
| 독립된 두 집단 평균 비교 | 연속형 | 독립표본 t검정(웰치) | 맨-휘트니 U 검정 |
| 대응된 두 측정 비교 | 연속형 | 대응표본 t검정 | 윌콕슨 부호순위 검정 |
| 세 집단 이상 평균 비교 | 연속형 | 일원분산분석(ANOVA) | 크러스컬-월리스 검정 |
| 한 범주 변수의 분포가 기대 비율과 맞는지 | 범주형 | 카이제곱 적합도 검정 | 정확 다항·이항 검정 |
| 두 범주 변수가 관련 있는지 | 범주형 | 카이제곱 독립성 검정 | 피셔의 정확 검정 |
| 두 연속 변수의 선형 관계 | 연속형 | 피어슨 상관, 단순 회귀 | 스피어만 순위상관 |
몇 가지 보충 설명입니다.
- 독립 t검정은 웰치 방식을 기본으로 쓰는 것이 좋습니다. 등분산을 가정하는 스튜던트 t검정은 두 집단의 분산이나 크기가 다를 때 오류율이 틀어지지만, 웰치 t검정은 분산이 같을 때도 손해가 거의 없습니다.
- 세 집단 이상에 t검정을 여러 번 하지 않습니다. 쌍마다 α=0.05로 검정하면 전체 제1종 오류율이 커집니다. 분산분석으로 전체 차이를 본 뒤 사후 검정을 합니다.
- 비율 두 개의 비교(전환율 A 대 B)는 2×2 표의 카이제곱 독립성 검정으로 할 수 있으며, 두 비율의 z검정과 결과가 같습니다.
예제: 2×2 카이제곱 독립성 검정
두 가지 광고 문구를 각각 50명에게 보여 주고 클릭 여부를 기록했습니다.
| 문구 | 클릭 | 클릭 안 함 | 합계 |
|---|---|---|---|
| A | 30 | 20 | 50 |
| B | 18 | 32 | 50 |
| 합계 | 48 | 52 | 100 |
결과 변수(클릭 여부)가 범주형이고, 문구도 범주형이므로 카이제곱 독립성 검정을 씁니다.
- 기대빈도:
행 합계 × 열 합계 / 전체. A·클릭은50 × 48 / 100 = 24, A·안 함은50 × 52 / 100 = 26이며 B도 각각 24, 26입니다. - 각 칸의
(관측 − 기대)² / 기대:(30−24)²/24 = 1.5,(20−26)²/26 ≈ 1.3846,(18−24)²/24 = 1.5,(32−26)²/26 ≈ 1.3846 - 카이제곱 통계량:
χ² ≈ 5.769 - 자유도:
(행 수 − 1) × (열 수 − 1) = 1 - p값: 약
0.0163(α=0.05의 임계값은 약 3.841)
p < 0.05이므로 문구와 클릭 여부가 관련이 있다고 판단합니다. 클릭률은 A가 60%, B가 36%입니다. 같은 데이터에 예이츠 연속성 보정을 적용하면 χ² ≈ 4.848, p ≈ 0.0277로 조금 보수적인 값이 나옵니다. 어떤 방식을 썼는지 보고에 적어 둡니다.
가정 점검
모든 검정은 전제 조건 위에서 정확한 p값을 줍니다. 주요 가정과 점검 방법은 다음과 같습니다.
독립성
모든 검정의 공통 가정입니다. 한 사람의 응답이 여러 번 들어가거나, 같은 반 학생처럼 묶음 구조가 있으면 위반됩니다. 통계 검정으로 확인하기보다 자료 수집 설계를 보고 판단합니다.
정규성(t검정, 분산분석, 피어슨 상관의 검정)
- 엄밀히는 데이터 자체가 아니라 표본평균의 분포가 정규에 가까우면 됩니다. 중심극한정리 덕분에 집단당 표본이 약 30개 이상이면 심하게 치우친 분포가 아닌 한 t검정은 꽤 안정적입니다.
- 표본이 작다면 히스토그램, 상자그림, Q-Q 도표로 극단적인 비대칭이나 이상치가 없는지 봅니다.
- 샤피로-윌크 같은 정규성 검정은 표본이 작으면 위반을 놓치고, 크면 사소한 차이도 잡아내므로 그림과 함께 판단합니다.
등분산
웰치 t검정을 쓰면 이 가정을 신경 쓰지 않아도 됩니다. 분산분석에서는 집단별 표준편차의 비가 2배를 넘는지 확인하고, 크게 다르면 웰치 분산분석을 고려합니다.
기대빈도(카이제곱 검정)
카이제곱 검정은 근사 방법이어서 기대빈도가 작으면 부정확합니다. 흔히 쓰는 기준은 모든 칸의 기대빈도가 5 이상입니다(더 완화된 기준으로 "기대빈도 5 미만인 칸이 20% 이하, 1 미만인 칸이 없음"도 쓰입니다). 2×2 표에서 기준을 어기면 피셔의 정확 검정을 씁니다. 위 예제는 기대빈도가 모두 24 이상이라 문제가 없습니다.
선형성(피어슨 상관, 회귀)
산점도를 먼저 그립니다. 관계가 곡선이면 피어슨 r이 관계를 과소평가합니다. 단조 관계라면 스피어만 상관이 대안입니다.
비모수 검정은 언제 쓰나요
- 표본이 작고 분포가 심하게 치우쳤거나 이상치가 있을 때
- 데이터가 순위나 순서형일 때
- 중앙값이나 분포 위치에 관심이 있을 때
비모수 검정은 가정이 적은 대신, 정규 가정이 맞는 상황에서는 검정력이 조금 낮습니다. 또한 맨-휘트니 U 검정은 엄밀히 말해 "평균이 같다"를 검정하는 것이 아니므로, 결과를 평균 차이로 해석하지 않도록 주의합니다.
이 사이트에서는 t검정(일표본·독립 웰치·대응), 카이제곱(적합도·독립성), 상관·회귀 계산기를 제공합니다. 위 결정표로 방법을 고른 뒤 해당 계산기에서 바로 계산해 볼 수 있습니다.
핵심 정리
- 결과 변수 유형(연속·범주), 비교 집단 수, 대응 여부 세 가지로 검정이 정해집니다.
- 독립 두 집단 평균은 웰치 t검정, 사전·사후는 대응 t검정, 세 집단 이상은 분산분석을 씁니다.
- 범주형 두 변수의 관련성은 카이제곱 독립성 검정이며, 예제 2×2 표는
χ² ≈ 5.769, 자유도 1,p ≈ 0.0163입니다. - 카이제곱은 기대빈도 5 이상을 확인하고, 어기면 피셔의 정확 검정을 씁니다.
- 가정이 크게 어긋나면 윌콕슨, 맨-휘트니, 크러스컬-월리스, 스피어만 같은 비모수 대안을 고려합니다.