통계에서 “검정력”이란 연구의 유의도를 결정하는 요소입니다.
기본적으로 연구를 계획하는 단계에서는 아래의 네 가지 필수 요소를 고려해야 합니다.
1. 표본의 크기, 즉 단위의 수 (예: 환자)를 말하며 보통 N으로 나타낸다.
2. 효과의 크기 (보통 원하는 효과크기가 작을 때 표본크기가 크다)
3. 유의수준 (.001, .05, .1 등으로 나타내는 통계적 역치) P값이 유의수준과 같거나 이보다 높을 때 통계적으로 유의하지 않다고 표현한다.
4. 검정력: 효과를 찾아낼 수 있는 가능성을 표시하는 값
연구의 검정력을 결정하는 것은 무엇일까요? 위의 네 가지 기준은 서로 연결되어 있기 때문에, 이들 중 세 가지의 값을 알고 있다면 나머지 하나의 값도 구할 수 있겠지요.
하지만 보통 유의수준은 고정되어 있고 (일반적으로 .001, .05, .1 중에서 선택해야 합니다) 문헌검토를 통해 효과크기 역시 예측할 수 있습니다. 그러므로 연구의 검정력을 강화시키기 위해서는 표본크기에 집중해야 합니다.
<네이처>를 비롯해 우수한 학술지들에서는 검정력을 확인하기 위해 표본크기의 타당성을 보여주기를 요청합니다. <네이처>에는 표본크기가 작을 경우 수행해야 하는 실험에 대한 구체적인 가이드라인도 있습니다.
그밖에 <British Journal of Surgery>처럼 논문 내에서 검정력을 명확하게 계산하기를 요구하는 학술지도 있습니다.
<Molecular Genetics and Metabolism>를 비롯한 여러 학술지에서는 “검정력 계산을 거치지 않은 논문들은 검토를 거치지 않고 거절한다”고 명시하고 있습니다.
통계 검정력을 엄격하게 평가하는 것은 비단 의학, 생명공학 분야만이 아닙니다. 미국 심리학 협회에서 제시한 “심리학 연구문 발표 기준"에 따르면 심리학 분야의 논문에 대해서도 방법론 파트에서 검정력 분석을 강력하게 권고하고 있습니다.
연구비 승인을 위해 지원할 때에도 검토자들이 연구의 탄탄함을 알 수 있도록 검정력 계산을 보여주는 것이 좋습니다.
답변에서 방법론에 대한 언급이 등장하지 않은 것은, 검정력은 방법론과 무관하기 때문입니다.
검정력이 낮을 때에도 (예: 표본크기가 연구에서 검증하고자 하는 효과에 비해 너무 작을 때) 무작위 임상 실험 등 철저한 실험이 가능합니다. 학술지 검토자들이 “검정력이 약하다”고 하는 것은, 관찰한 효과가 신뢰성과 재생가능성을 갖기에는 검정력이 불충분하다는 뜻입니다.
안타깝게도, 실험을 수행한 이후에 검정력을 조절하는 것은 무척 어렵습니다. 그러므로 데이터 수집을 시작하기 이전에 연구계획에 충분한 검정력이 있는지 통계전문가와 논의하는 것이 중요합니다.
