A/B 테스트 유의성 계산기

A/B 테스트 유의성 계산기 사용 가이드

버튼 색이나 상세페이지 문구를 바꾼 B안의 전환율이 조금 높게 나와도 우연히 생긴 차이일 수 있습니다. 이 계산기는 두 비율의 차이를 검정하는 z 검정으로, 그 차이를 우연이라고 보기 어려운지 p값으로 판단합니다.

두 그룹을 합친 전환율(합동 비율)로 표준오차를 구하고 z = (B 전환율 − A 전환율) ÷ 표준오차를 계산합니다. 양측 p값이 0.05보다 작으면 '95% 수준 유의성: 유의함'으로 표시합니다.

방문자 10,000명 중 800명(8%)이 전환한 A와 10,200명 중 920명(약 9.02%)이 전환한 B는 상대 개선율 약 12.7%, p값 약 0.0094로 유의합니다. 반면 4%와 5.6%처럼 차이가 더 커 보여도 각 500명뿐이면 p값이 약 0.24라 유의하지 않습니다.

사용 방법

1. 1a_visitors=와 a_conversions=에 A안의 방문자 수와 전환 수를 적습니다.
2. 2b_visitors=와 b_conversions=에 B안의 값을 적습니다.
3. 3'실행'을 누르고 전환율 차이, 상대 개선율, 양측 p값과 유의성 결과를 확인합니다.

a_visitors=10000
a_conversions=800
b_visitors=10200
b_conversions=920

A 전환율: 8%
B 전환율: 9.01960784314%
절대 차이: 1.01960784314%p
상대 개선율: 12.7450980392%
합동 z값: 2.59593450594
양측 p값: 0.00943340447115282
95% 수준 유의성: 유의함

이럴 때 쓰면 좋아요

• 상세페이지·광고 문구 A/B 테스트 결과를 판정할 때
• 이메일 제목 두 가지의 열람률 차이가 의미 있는지 볼 때
• 가입 버튼 위치를 바꾼 뒤 전환율 변화를 검토할 때
• 두 지점·두 기간의 불량률이나 응답률 차이를 비교할 때

문제가 생겼을 때

활용 팁

• 상대 개선율이 커 보여도 기본 전환율이 낮으면 절대 차이는 작을 수 있습니다. 매출 영향은 절대 차이(%p) × 방문자 수로 따져 보세요.
• 각 그룹의 전환 수가 수십 건 이하로 적으면 z 근사가 부정확할 수 있습니다. 이때는 Fisher 정확검정 같은 방법이 더 적합합니다.

자주 묻는 질문