가설검정의 주의점 - 6.1 재현 가능성

우연히 결과가 나오는 것이 아닌, 항상 일관된 결과가 나오는지 확인해야 한다.

 

☑️ 재현 가능성

동일한 연구나 실험을 반복했을 때 일관된 결과가 나오는지 여부. 연구의 신뢰성을 높이는 중요한 요소.

항상 일관된 결과가 나와야 실험이 의미 있어지는 것. -> 다시 벌어지지 않을 일... 의미가 없다고 할 수도 있다.

ex) 신약을 개발할 때 실험실에서만 효과가 있는 것이 아니라 실제 상황에서도 일관된 결과가 나온다고 믿을 수 있기 때문에 개발 가능한 것

 

최근 p값에 대한 논쟁이 두드러지고 있다. (p값을 활용하여 재현가능성을 판단하고 있음)

• p값을 사용하지 않는 것이 좋다
• 유의수준을 0.05에서 변경하는 것이 좋다 -> 이 숫자가 관습적으로 정해진 값이기 때문에... 더 낮춰야 의미가 있다는 의견이 현재 두드러지는 중

 

가설검정 원리상의 문제나 가설검정의 잘못된 사용이 낮은 재현성으로 이어진다는 문제 발생

최근 논문을 다시 재현해서 실험을 해보는데 똑같은 결과가 않나오는 사례가 많은… 재현성 위기가 문제가 되고 있음

☑️ 중요성

결과가 재현되지 않는다면 해당 가설의 신뢰도가 떨어짐

 

재현성 위기의 원인은?

☑️ 실험 조건을 동일하게 조성하기 어려움

완전 동일하게 다시 똑같은 실험을 수행하는 것이 쉽지 않음 (최대한 같은 환경을 조성하였을 때 비슷한 결과를 낼 수는 있어야 함)

또한 가설검정 자체도 100% 검정력을 가진 것이 아니기 때문에 오차가 나타날 수 있음 -> 당연하지만 100% 검증력을 보하는 방법이 아님...

☑️ 가설검정 사용방법에 있어서 잘못됨

p값이 0.05가 유도되게끔 조작하는 것이 가능 (p해킹) 

실제로는 통계적으로 아무 의미가 없음에도 의미가 있다고 해버리는 1종 오류를 저지를 수 있음

0.05라는 것은 100번 중에 5번 즉, 20번 중에 1번은 귀무가설이 옳음에도 불구하고 기각될 수 있음

유의수준으로 통제하는 것이 중요 -> 유의수준을 낮추는 방법...

하지만, 유의수준을 너무 낮추면 베타값이 커져버리는 문제 발생…

 

따라서, 어떤 논문에서는 유의수준을 0.005로 설정하면서 데이터 수를 70% 더 늘려서 베타 값도 컨트롤 하는 방향을 제안하기도 함 -> 데이터 수가 정말 중요한 듯

잘못된 가설을 세우더라도 우연히 0.05보다 낮아서 가설이 맞는것처럼 보일 수도 있음. 따라서 가능한 좋은 가설을 세우는 것도 중요

 

애초에 좋은 가설을 세우는 것도 어렵고 중요하다.