재현 불가능성(irreproducibility)은 근래 과학계에서 가장 우려되고 오랫동안 지속된 문제 중 하나로 인식되고 있습니다. ≪Nature≫는 이 문제에 관한 연구자들의 시각을 알아보고자 조사를 수행하여 보고서를 발표하였고, 대다수 연구자는 “심각한 재현성 위기가 존재한다”는 데 의견을 같이하는 것으로 나타났습니다. 이러한 위기는 주지의 사실이지만 재현성(reproducibility)이라는 용어에 대한 보편적 동의를 얻은 정의가 없어 이에 대한 해결책을 찾기가 쉽지 않은 것으로 파악되고 있습니다.
재현성에 부여된 여러 의미는 때로 서로 모순적이기도 합니다. 미국 국립 의학도서관(National Library of Medicine)은 전임상 연구(preclinical research)의 재현성 향상 방안을 논의하기 위한 회의를 개최하였으며 이 회의에서 진행된 주요 논의의 핵심은 재현 불가능성 문제는 그것이 뜻하는 바가 무엇인지에 대한 이해가 전제되지 않고서는 해결되기 어렵다는 것이었습니다.
‘재현 가능한(reproducible)’과 ‘반복 가능한(replicable)’이라는 용어는 서로 구분 없이 사용되는 경우가 많습니다. 엄밀히 말해 ‘재현성(reproducibility)’은 주로 다른 분석을 통해서도 결과가 유효하게 지속하는 힘을 말하며 ‘반복/재현(replication)’은 같은 또는 새로운 미가공 데이터(raw data)를 이용하여 결과를 반복(repeat)하려는 시도를 의미합니다. 하지만 이러한 정의는 학문 분야에 따라 다르며, 사실 과학 전문가들도 이 용어의 의미에 대해 서로 다른 의견을 갖고 있습니다.
이러한 불분명함을 명확히 정리하고자 연구자들은 광범위하게 사용되고 있는 '재현성(reproducibility)'과 '반복/재현(replication)'이라는 이 두 포괄적 용어에 대한 정의를 제안하기 시작하였습니다. <연구 재현성이란 무엇을 의미하는가?>의 주저자인 Steven Goodman은 이 용어에 대해 다음과 같이 분리된 정의를 제안하였습니다.
● 방법 재현성(methods reproducibility): ‘반복(replication)’이라는 용어에 가장 가까운 것으로 같은 절차가 되풀이될 수 있도록 연구 절차와 데이터에 대한 충분한 세부사항을 제공하는 것을 의미함
● 결과 재현성(results reproducibility): 방법 재현성과 긴밀히 연관되며 “원 실험(original experiment)과 가능한 한 근접하게 일치하는 연구 절차를 따라 독립적 연구를 수행함으로써 같은 결과를 얻는 것”을 의미함
● 추론 재현성(inferential reproducibility): 이 경우 연구자들은 다른 연구를 통해 일련의 같은 추론을 끌어내거나 원 데이터(original data)를 이용해 다른 결론을 추론해낼 수 있으므로 위에 언급된 두 가지 형태의 재현성과는 구분됨. 즉, 추론 재현성은 “독립적인 연구 반복(replication) 또는 원 연구(original study)의 재분석을 통해 질적으로 비슷한 결론을 도출하는 것”을 말함
재현성에 대한 정의의 표준화와 관련하여 일리노이대학교 어바나-샴페인 캠퍼스의 데이터 과학자인 Victoria Stodden의 시도도 주목할 만합니다. Stodden은 재현성이란 용어를 다음과 같이 구분하였습니다.
● 실험적 재현성(empirical reproducibility): 물리적으로 실험을 반복하고 확증하는 데 필요한 모든 세부 사항을 제공하는 것을 말함. 이 용어에 대한 Stodden의 정의는 Goodman의 방법 재현성 정의와 유사함
● 계산 통계적 재현성(computational and statistical reproducibility): 계산적이고 분석적인 결과물을 반복(redo)하는 데 필수적인 자원을 제공하는 것을 말함
베데스다에 있는 미국 세포생물학회(American Society for Cell Biology)의 한 연구자 그룹은 백서에서 재현성에 관한 모든 논의를 새롭게 전환하여 재현성(reproducibility)이라는 용어를 배제하고 그 대신 네 가지 형태의 재현(replication)을 소개하였습니다.
● 분석 재현(analytic replication): 간단히 원 데이터(original data)를 재분석하여 결과를 재현(reproducing)하는 것을 의미함
● 직접 재현(direct replication): 원 실험(original experiment)에 언급된 것과 같은 조건, 재료, 방법을 이용하는 시도를 말함
● 체계 재현(systematic replication): 예를 들어 다른 세포계나 생쥐 종으로 실험하는 것과 같이 실험 조건을 달리하여 결과를 재현(reproduce)하고자 하는 노력을 의미함
● 개념 재현(conceptual replication): 개념의 일반적인 유효성을 입증하려는 노력을 지칭하는 것으로 다른 유기체를 사용하는 것을 포함할 수 있음
재현성에 함축된 정확한 의미를 명확히 결정짓기는 분명 쉽지 않습니다. 이러한 정의는 학문 분야나 주제마다 다르며, 그리고 심지어 개인적 견해 사이에도 차이가 있을 수 있습니다. 재현 불가능성의 중심에는 투명성의 결여, 복잡한 실험을 되풀이하고자 하는 미숙한 연구자들, 방법에 대한 불완전한 정보와 같은 몇 가지 문제점들이 있습니다. 따라서 반복 또는 재현을 어렵게 만든 연구의 특정한 문제점들을 구체화하고 더불어 이러한 반복이나 재현의 목적을 분명히 규정하는 것이야말로 이 문제를 해결하는 열쇠가 될 것입니다. 많은 전문가는 재현성에 대한 모든 이의 합의를 얻은 정의가 있다면 이 문제에 맞서는 일이 쉬워질 것이라고 믿고 있습니다. 모든 출판된 연구의 궁극적 목적은 그것을 연구하거나 반복하거나 응용하기 쉽게 만드는 것입니다. 연구자들은 이러한 의도를 갖고 데이터를 공유해야 하며 연구 설계와 방법에 관한 투명하고 상세한 정보를 주기 위해 힘써야 합니다. 이는 이른바 ‘재현성 위기’를 피하는 가교 구실을 할 것입니다.
