영가설 기각 방식에서 흔히 빠지기 쉬운 오류

If the null hypothesis is correct, then this test statistic is highly unlikely:
-This test statistic has occurred.
-Therefore, the null hypothesis is highly unlikely.

If we go back to the guitar example we could get a similar statement:

If a man plays guitar then he probably doesn’t play for Fugazi (this is true because there are thousands of people who play guitar but only two who play guitar in the band Fugazi!):
-Guy Picciotto plays for Fugazi.
-Therefore, Guy Picciotto probably doesn’t play guitar.

Andy Field가 쓴 통계 책을 틈틈이 보고 있는데, 이 사람도 밴드 생활해 본 락덕후 심리학 박사라 이런 주옥 같은 예시들을 종종 접할 수 있다. 통계 교과서에서 Fugazi를 만날 줄이야.. 예시가 인상적이라 영가설을 기각하는 방식에서 빠지기 쉬운 오류가 와닿음.

 

영가설이 기각됐다고 해서 영가설이 false인 것이 아닐뿐더러 probabilities의 차원에서 봤을 때도 이런 식으로 논리를 전개시켜서는 안 됩니다.

 

Guy Picciotto 형님한테 왜 그러세요?

In fact significance testing allows us to say very little about the null hypothesis.