출판 결과의 재현 불가능성(irreproducibility)은 학계 내에서 가장 활발한 논의가 이루어지고 있는 주제 중 하나로 흔히 과학이 직면하고 있는 현대의 위기로 일컬어지고 있습니다. 결과 재현의 실패가 우려되는 이유는 이것이 잘못된 판단이나 서툰 실험 설계, 선택적 보고, 또는 통계적 요행을 뜻하기 때문입니다. 재현성에 관하여 보편적 동의를 얻은 정의가 세워지지 않았다는 점, 그리고 이 문제의 배경과 해결 방안에 대해 다양한 의견이 존재한다는 점은 ≪Nature≫가 이에 대한 조사를 시행한 계기가 되었습니다.
≪Nature≫는 이 조사에서 약 1,500명의 과학자에게 재현성에 관한 그들의 생각과 연구 결과를 좀 더 재현성 있게 만드는 방법에 관해 물었습니다. 이 조사의 몇 가지 중요한 결과를 나열해 보겠습니다.
1. 재현성 위기는 현실인가?
조사 참여자의 52%는 “중대한 재현성 '위기'가 존재한다”는 시각에 동의했으며, 반면 재현성을 문제로 생각하지 않는다고 말한 참여자는 단지 7%에 불과했습니다.
2. 이 문제로부터 자유로운 분야가 있을까?
본인의 각 분야 내 재현성에 대해 질문했을 때 조사 참여자의 73%는 자신 분야 논문의 적어도 절반은 신뢰할 만하다고 믿고 있어 사뭇 모순된 태도를 보였습니다. 이들 중 물리학자들과 화학자들은 자신의 전공분야에서 출판되는 연구의 질에 대해 가장 자신감을 보였습니다.
3. 반복 연구를 출판하는 것이 얼마나 어려운가?
응답자의 24%는 성공적인 반복 연구를 출판한 적이 있다고 보고했으며 실패한 반복 연구를 출판한 응답자는 13%였습니다. 하지만 조사에 참여한 일부 과학자들은 실패한 반복 연구를 출판하는 데 어려움이 있었다고 말했습니다.
4. 출판된 결과물과 관련하여 응답자들은 얼마나 많은 연락을 받는가?
놀랍게도 본인 연구의 재현 불가능성을 논하기 위해 다른 연구자로부터 연락을 받은 경험이 있다고 보고한 참여자는 20% 미만이었습니다.
5. 재현 불가능성을 부르는 요인은 무엇일까?
응답자의 60% 이상은 재현성 문제의 밑바탕에 잠재한 가장 큰 책임이 있는 요인으로 선택적 보고와 출판에 대한 압박을 꼽았습니다. 그리고 참여자의 약 50%는 “미약한 통계적 검정력 또는 형편없는 분석”을 또 다른 이유로 들었습니다.
6. 재현성을 높일 수 있는 요인은 무엇일까?
응답자의 90%에 따르면, 재현성을 보장할 수 있는 세 가지 요인은 “더 탄탄한 실험 설계”, “더 나은 통계”, 그리고 “더 나은 멘토십”입니다. “저널의 기준 강화”는 응답자의 69%가 (꽤 높은 비율로) 선택하여 가장 낮은 순위를 차지하였습니다.
과학자들의 반응은 재현성 위기가 정말 현실이라는 것을 분명히 보여주고 있습니다. 조사에 참여한 과학자들의 70%가 다른 연구자의 결과를 반복하는 데 실패한 경험이 있다고 보고했으나 다른 연구자로부터 실패한 반복 연구를 알리는 연락을 받은 연구자는 극소수였습니다. 이것은 과학자 상호 간 커뮤니케이션의 단절을 명백히 보여주고 있습니다. 더욱이, 실패한 반복 연구의 출판을 주저하는 저널은 과학적 진보 속도에 직접적인 영향력을 행사하는 출판 시스템이 가진 허점을 보여주고 있습니다.
이 문제는 뿌리 깊이 자리 잡고 있으며 과학의 모든 이해당사자는 좀 더 투명하고 견고한 시스템을 만들어내기 위해 다 같이 협력할 필요가 있습니다. 연구비 지원 기관과 연구 기관은 재현성을 개선할 수 있는 정책을 개발하기 위해 힘써야 하고 모든 연구자는 결함 없는 연구 결과물을 만들고 누락 없이 보고하는 것을 자신의 책무로 받아들여야 합니다. 만일 과학적 진보가 거인의 어깨 위에 올라섬으로써 더 멀리 바라볼 수 있는 것과 같이 모든 것이 발판이 되어 이루어지는 것이라면, 우리는 반드시 모든 거인이 굳건히 우뚝 설 수 있도록 만들어야 합니다.
