아티클스터디 240813 - A/B 테스트 제대로 이해하기 2, 3

2. AB테스트를 위한 기초 통계 이해하기

기초통계 개념

- 결과를 해석하는 데에 필요하다.

1. 모집단과 표본

우리는 결코 '전체'를 알 순 없다. 이번 실험의 대상은 어디까지나 '일부'다.

 

 

2. 일부를 통해서 전체에 대해 추론할 수 있다.

아무리 일부일지라도 이 숫자가 충분하면, 일부를 통해 전체에 대해서 추측, 추론, 추정 가능하다.

 

3. 귀무가설과 대립 가설, 양측 검정과 단측 검정

단측 검정 (one-sided) - A가 B보다 무조건 높거나 낮을 것이다.

양측 검정 (two-sided) - 뭐가 더 높을지 낮을지는 모르나 차이는 있을 것이다.

 

4. 실험 결과도 결국 '추측'이다.

점 추정 : 정확히 한 점을 콕 짚어 추측하는 것

구간 추정 : 특정 범위/구간을 기준으로 추측하는 것

 

5. 그래서 정말 우연이 아닌가?

결과가 우연인지 아닌지 판단하는 기준 : p-value

유의수준 5% 일 때,
p-value가 4% (0.04) -> 유의미함을 판단하는 기준으로 세운 범위 내. -> 정말로 차이가 있는 게 맞다.
p-value가 6% (0.06) -> 실험이 타당하지 않다. (결과가 우연일 가능성이 크다. -> 실질적인 차이가 없다고 판단.)

 

 

우연임을 확인해야 하는 이유?

우리가 일부를 가지고 전체를 추측하기 때문

 

기초통계를 활용해 원하는 답을 찾고자 노력해야 한다.

 

 

 

3. A/B 테스트 계산기의 세팅과 해석

웹서비스를 통해 간단한 AB 테스트를 진행할 수 있음 : https://abtestguide.com/calc/

(요약에서는 생략)

 

양측, 단측?

양측검정을 진행하는 게 조금 더 보수적이고 안전한 접근방식.

단측으로 유의미하지 않은 검정이 양측에서는 유의미하게 해석될 수도 있음.

 

결과 해석

p-value를 보고 유의미한가의 여부를 판단한다.

두 그룹의 전환율 차이가 유의미한지, 즉 우연이 아니라 앞으로도 동일한 고객을 대상으로 특정 방안이 더 나은 것인지 어느 정도 확신할 수 있게 된다.

significant / not significant

 

not significant가 나왔을 때 아래와 같은 고민을 해야 한다.

1) A, B에 정말 차이가 없는가? 기획 아이디어 자체에 문제가 있는가?

2) 차이가 있을 수 있는데 표본의 양이 부족한 것인가?

 

-> 4.5에 계속