240809 아티클스터디 - A/B 테스트 제대로 이해하기: 1. 테스트를 설계할 때 우리의 진짜 질문은?

https://yozm.wishket.com/magazine/detail/1633/

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

 

 

---

 

좋지 않은 A/B 테스트의 예시

트래픽을 절반으로 나눈다, 변수는 1개만 둔다 등 A/B 테스트의 사례나 세팅 방법 정도로 설명이 그친다.

단순히 아무거나 A와 B안으로 분리한 다음 가져와서 더 괜찮은 것을 찾았다 식으로 마무리 짓는다.

 

A/B 테스트를 설계할 때 우리가 진짜로 궁금해하는 것

1) 우리는 암묵적으로 A/B 방안의 결과가 상당히 크길 바란다.

두 그룹의 결과 차이가 1%밖에 나지 않으면 이는 유효한가?

 

2) 우리는 실험의 진행이 공정하길 바란다.

'공정함'의 기준을 명확하게 했는가?

 

3) 우리는 이번 실험의 결과가 이례적이거나 우연이 아니길 바란다.

'실험마다 이렇게 결과가 다르다면, 이 실험을 우리는 믿을 수 있는 걸까?'

 

---

 

A/B 테스트의 진짜 질문

'목표를 달성하기 위한 방안으로 A안과 B안 중 어느 게 더 효과가 좋은가?'

가 아니라,

 

"이번 며칠 동안 모은 000명~0,000명의 트래픽/고객에 대해서만 유효한 게 아니라,
앞으로도 그리고 해당 유형의 모든 고객에게
A안과 B안 중 어느 게 '확실하게' 효과가 좋은가?
이 결과는 정말로 A와 B의 차이 덕분에 생긴 게 맞는 걸까?
그리고 이 결과는 우연이 아닌 걸까?"

 

 

A/B 테스트를 단순히 정의하는 것은 본래 테스트를 실행하는 의도를 변질시킬 수도 있다.

 

---

 

자료를 찾아보던 와중, 다변량 테스트라는 용어가 같이 언급되었는데, 아래의 자료로는 확실히 이해가 가지 않아 추가로 조사하였다.

 

다변량 테스트란?

두개가 아닌 그것보다 다수의 타입을 만들어 테스트를 진행하는 경우 A/B/C 테스트라고도 부른다. (통상적으로는 그냥 AB테스트라고 부르는 모양) 하지만, 이보다 더 큰 변화를 복합적으로 준 뒤 테스트하는 경우 이를 MVT(다변량 테스트)라고 한다. 테스트할 페이지의 여러 요소를 동시에 바꿔 테스트하는 경우에 사용한다.

 

카이제곱검정

AB테스트든 MVT든 변화를 준 내용이 정말 유의미하게 영향을 준 것인지 아니면 단순한 오차인지 검증하기 위해 통계학으로서 카이제곱검정을 활용하기도 한다.

 

 

 

 

 

참고자료

https://www.oracle.com/kr/cx/marketing/what-is-ab-testing/

A/B 및 다변량 테스트의 정의, 필요성, 방법

https://brunch.co.kr/@highfree/27

A/B 테스트 & MVT(다변량 테스트)