일반적으로, p value가 알려주는 것은 관계나 집합들 사이의 차이가 생겨나는 것이 우연한 것인지, 변수에 따른 것인지의 여부입니다. 그러므로 네이처를 비롯해 대부분의 통계학 가이드라인에서는 유의한 변화, 차이, 관계를 나타날 때 항상 p value를 제시하도록 되어 있습니다. 또한, 유의 역치(유의를 결정하기 위해 사용되는 p value)는 .05, .001, 혹은 .01이 될 수 있습니다. 연구에서 사용한 유의 역치는 방법론 파트에서 “유의 역치는 .05 이다” 등으로 밝히도록 권장하고 있습니다.
그러나 유의역치를 통해서는 효과, 변화, 관계의 강도나 크기를 설명할 수는 없습니다. 그러므로 논문에 p value만을 밝혀서는 안 됩니다. 검정통계 (t, F, U, 등), 상관계수나 회귀계수 (Pearson’s r, Spearman’s rho 등), 혹은 효과의 크기 계수 (에타 제곱, 부분 에타 제곱, 오메가 제곱 등)을 제시하는 것도 좋은 방법입니다.
“우리는 불안감과 직업 만족도 사이에서 유의한 관계를 밝혀냈다(p < .05)” 라는 문장을 예로 들어 봅시다. 이 문장을 통해 독자들이 알 수 있는 것은 필자가 이 관계가 우연히 생겨나는 것이 아니라는 충분한 증거를 가지고 있다는 사실밖에 없습니다. 독자들은 이 관계가 정관계인지 (즉, 높은 불안감을 가진 피험자들이 높은 직업만족도를 가진 것인지, 아니면 낮은 불안감을 가진 피험자들이 높은 직업만족도를 가진 것인지) 역관계인지 알 수 없습니다. 그리고 이 관계성이 강한지 약한지 또한 알 수 없습니다. 그러므로 독자를 위해 p value와 함께 상관계수 역시 밝힐 필요가 없습니다. 앞서 말한 문장 끝의 괄호 안에 “r = -.78” 을 덧붙인다면 독자는 이 연구에서 드러나는 것이 강한 역관계라는 점을 알 수 있을 것이고, 따라서 연구 결과를 보다 잘 이해할 수 있을 것입니다.
한 가지 예를 더 들어봅시다. “우리는 사전 테스트와 사후 테스트의 점수 간에 유의미한 차이를 발견했다.” 라는 문장입니다. 여기서는 (1) 검정통계를 사용해 이 차이를 검토하는 데 어떤 통계를 사용했는지 표시하고, (2) 효과 크기 계수를 사용해 이 차이의 크기가 어느 정도인지 표시하길 권장합니다. 아니면 사전 테스트와 사후 테스트에서 각각 평균 점수를 밝히는 것만으로도 독자들이 논문이 발견한 효과의 크기를 이해하는 데는 충분할 것입니다.
또한, 정확한p value를 밝히는 것은 과학적 진실성을 높이는 데 도움이 됩니다. 위에서 예로 든 문장에서 p value는 “.048” 으로 나타낼 수 있습니다. 이는 실제로 “.05”보다 낮지만 .05와 무척 근접한 값이므로 .51과 비슷하게 다루어질 것이기 때문입니다. 보통 정확한 p value가 .001 미만일 때는 “p < .001” 이라고만 쓰면 됩니다. 그 밖의 경우에는 특히 주된 결과값일 경우 정확한 p value를 밝히도록 합시다.
아래의 예는 P value사용과 관련해 흔히 일어나는 기초적인 실수들입니다.
1. “p = .00” or “p < .00”
실질적으로 p value가 0이 되는 것은 불가능합니다. 어떤 통계프로그램에서는 p value가 .000 으로 산출될 수 있지만 이는 자동 반올림이나 소수점 이하 단위를 절삭하기 때문입니다. 그러므로 “p = .000” 은 p value의 본질적인 중요성을 변화시키지 않고서도 허용 가능한 값인 “p < .001” 로 표기하도록 합시다. 또한, p는 언제나 0과 1사이에 위치하며, 음수가 될 수 없습니다.
2. “p < .03”
여러 학술지에서 p value 를 통계적 유의 역치인 알파값과 비교해 “p < .05”, “p < .01”, “p < .001” 등으로 표기하도록 하고 있습니다. 또한 “p = .03”이나 “p = .008” 처럼 절대값으로 표기할 수도 있습니다. 그러나 부등호(>, <) 뒤에 알파값이 나오지 않을 때는 부등호를 사용하지 않습니다.
마지막으로 알아두어야 할 것은, 과학, 기술, 의료 분야의 여러 권위 있는 학술 기관에서는 상관관계, 비례, 통계적 유의도 등이 1 이하일 때 소수점 앞의 0을 생략하기를 권장하고 있다는 점입니다. 즉 “p < 0.05”가 아니라 “p< .05” 로 써야 합니다.
지금까지 알려드린 사항을 참고해 여러분의 논문에서 p value 사용과 관련해 고칠 점이 없는지 확인해 보세요.
Journal of Applied Physiology에 실린 이 사설에서 보다 구체적인 가이드라인을 확인할 수 있을 것입니다.
