아티클스터디 240816 - AB 테스트 제대로 이해하기 4, 5

 

4) AB 테스트 표본 크기와 유의미한 결과의 관계

유의미하지 않은 결과가 표본 사이즈와 관련이 있는가?

 

표본이 많으면 많을수록 그룹 A와 B의 결과 차이가 적더라도 유의미하다고 인정한다.

이는 신뢰도의 문제 (이왕이면 최대한 더 많은 사람에게 물었을 때 오는 신뢰)

 

표본 크기와 AB 테스트 결과의 차이에서 우리가 착각하는 것

우리의 직관 : 100000명끼리 비교해서 차이가 고작 0.2%p 수준이다.

통계 : 0.2%p 차이밖에 없더라도 표본이 100000명이나 되니 이 정도면 충분하다 + 우연이라고 볼 수 없다.

 

우리는 단순히 비율을 비교하는 게 아니다.

비율의 차이가 믿을 수 있는 결과인지, 우연이 아니란 걸 증명할 수 있는지 알고 싶은 것.

표본이 커서 모집단의 크기에 가까워질수록 추축은 더욱 정확해지고, A와 B의 차이가 우연에 의해 발생할 가능성은 줄어듦

-> 두 그룹의 차이가 아무리 적어도 표본만 크면 충분히 유의미할 수도 있다.

 

 

--

 

5) AB 테스트에 적정한 표본과 주의 사항

표본이 얼마나 필요한가? = 두 방안의 결과가 몇 % 정도 차이가 날 것이라고 기대하는가?

 

신뢰 수준에 따라 (1%, 5%) 많은 차이가 있음.

 

기본 전환율이 20%

-> 차이가 5% (15%~25%)

-> 차이가 1% (19%~21%)

 

표본 수를 결정할 때도 근거와 이유를 명시한 후에 결정하는 것이 중요하겠다는 생각이 듦

(주간 이용자 수나 10000명을 달성할 때까지의 평균 기간을 판단하는 등)

 

피해야 할 사항

1) 내가 미는 방안이 이길 때까지 기다리기

2) 내가 미는 방안이 지기 전에 그만두기

3) A안과 B안의 실험을 다른 날짜에 시작하기

 

 

• 표본 수를 결정할 때도 근거와 이유를 명시한 후에 결정하는 것이 중요하겠다는 생각이 듦 (주간 이용자 수나 10000명을 달성할 때까지의 평균 기간을 판단하는 등)
• AB 테스트 결과를 얻었을 때, 단순히 성공실패에만 신경을 쓰는 것이 아니라 왜 이 B를 골랐었는지를 상기하고, A와의 차이점을 비교하여 앞으로 고르지 말아야 할 특이사항을 뽑아내는 과정에서 성장이 이루어진다고 생각함
• 용어 정리 : 표본 = 트래픽 ← 같은 맥락으로 사용됨을 기억해두기

 

https://yozm.wishket.com/magazine/detail/1667/

A/B 테스트 제대로 이해하기: ④ A/B 테스트 표본 크기와 유의미한 결과의 관계 | 요즘IT

https://yozm.wishket.com/magazine/detail/1680/

A/B 테스트 제대로 이해하기: ⑤ A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT