연구의 재현 가능성(reproducibility)이란 신기루에 불과한 걸까요? ‘유레카’를 외칠 만큼 놀라운 발견이 과학계 전체로 확대되지 못하고 연구자들 앞에 나타난 단 한 번의 발견으로 그치는 일이 있습니다. 재현할 수 없는 수많은 연구결과는 과학의 취약점을 드러내고 있습니다.
최근 발표된 한 보고서에 따르면, 미국 내에서 재현할 수 없는 생물분야의 연구에 드는 비용은 연간 280억 달러라는 어마어마한 액수로 밝혀졌습니다. 이 때문에 전 세계적으로 연구개발에 투자하는 비용이 꾸준히 높아지고 있음에도 재현 불가능성이라는 문제로 인해 펀딩기관, 연구기관, 과학자들에게 연구개발 투자는 논쟁거리가 되고 있습니다. 대부분 전공분야, 특히 우주학, 심리학, 의학, 유전공학 분야에서는 혁신적인 연구결과가 나타나더라도 다른 연구팀에서 반복실험을 통해 연구를 검증할 수 없는 문제가 자주 나타납니다. 스웨덴 스톡홀름 대학의 오스카 클라인 천체입자 물리학 센터 소속의 천체입자 물리학 교수 Jan Conrad는 이렇게 표현했습니다. “예전에는 (새로운 연구 결과가 발표될 때마다) 들뜨던 동료들은 이제 고개를 저으면서 ‘암흑물질의 후보가 또 하나 등장했군.’ 하고 농담을 한다.”
이렇게 재현 불가능한 연구 결과는 경제적인 문제만 가져오는 것이 아니라 과학에 대한 이해에 부정적인 영향을 끼칩니다. STAP 세포 연구 같은 부정 연구는 논문 게재 철회로 이어지지만, 데이터 오류로 인해 재현할 수 없는 연구는 여전히 남아 인용되고 있습니다. 과학의 발전은 기존에 정립된 연구 결과와 이론에 기반을 두는 것입니다. 한 연구를 기반으로 다양한 가설이 등장할 수 있기에, 재현할 수 없는 연구가 하나 생겨나면 도미노 효과를 일으켜 그 분야의 특정한 측면을 이해하는 데 영향을 끼치게 됩니다.
연구는 또한 의료 정책의 기반을 형성하므로, 재현할 수 없는 연구 결과는 공공의 건강을 위협하고, 또 대중의 과학에 대한 신뢰에도 악영향을 끼칩니다. 이런 점을 드러내는 최근의 한 사례로는 90년대 후반 케냐에서 수행되어 대중에게 큰 영향력을 미친 연구가 있는데, 이 연구에서는 구충을 통해 어린이의 학업 성적과 전반적인 건강이 향상된다는 결과가 나타났습니다. 2004년 이 연구가 출판되자 수많은 개발도상국에서 대규모 구충 정책을 시행하게 되었습니다. 하지만 전염병학자들로 구성된 영국 연구팀이 10년 후 이 연구를 반복하려 시도한 결과, 연구에는 많은 결함이 발견되었습니다. 이렇듯 재현할 수 없는 연구는 과학에 대한 대중의 신뢰를 무너뜨리는 데 결정적인 계기로 작용할 수 있습니다.
재현 불가능한 연구는 수많은 요인에 뿌리를 내리고 있지만, 이 문제의 핵심은 출판에 대한 압박입니다. 혁신적인 연구를 수행하면 높은 임팩트 팩터를 가진 저널을 통한 출판이 보장되고 연구비 지원 가능성도 늘어납니다. 이 때문에 일부 연구자들은 연구의 정확성을 확인하는 절차 없이 연구 결과를 알리는 것입니다. 스탠포드 의대 보건 연구 정책 교수이자 “왜 출판된 연구 결과의 대부분이 잘못된 결과인가”라는 논문의 저자이기도 한 John Ioannidis교수에 따르면, 많은 연구자는 “데이터 파내기(data dredging)”의 덫에 빠진다고 합니다. 최초 가설이 이치에 맞지 않을 시 연구 데이터를 살펴보며 유의미한 요소라고 믿을 수 있는 “이야기가 될 만한 요소” 또는 “데이터의 두드러진 부분”을 찾아낸 뒤 이 통계적으로 불확실한 세부 사항을 연구의 기반에 놓는다는 것입니다. 물론, 이 연구에 통계적인 요행이 작용했음을 알 수 없는 다른 연구자들은 연구 결과를 재현하는 데 실패합니다.
중력파(gravitational wave)의 존재 근거를 비롯해 대중적으로 널리 알려진 동시에 반복이나 재현이 어려운 연구 결과가 많은 것은 피어 리뷰를 거치지 않은 연구 결과를 기자회견과 사전 업로드를 통해 대중에게 공개하는 경향 때문이기도 합니다. Conrad 교수는 “arXiv에 게재된 부정확한 논문은 엉뚱한 연구 결과를 하나 늘리는 것 외에도 다른 부작용을 낳는다. 펀딩 결정을 왜곡시킬 뿐 아니라, 이 결과를 설명할 방법을 고안하느라 이론 연구자들이 시간을 낭비하고, 대중은 뉴스를 통해 잘못된 결과를 얻게 된다”고 의견을 표명했습니다. 경쟁에서 우위를 점하고 위치를 공고히 하려는 의도로 많은 연구자가 불완전한 연구결과를 발표한 다음에야 연구에 결함이 있다는 것을 알게 되는 것입니다.
이 문제를 해결할 방법이 존재할까요? 과학계 여러 분야에 종사하는 관련자들과 연구자들이 함께 힘써야 재현할 수 없는 연구의 등장을 억제할 수 있습니다. 연구자들은 연구를 수행하는 동안 빅데이터 이용에서 발생하는 어려운 점 등 연구 결과의 오류를 낳을 수 있는 실수의 가능성을 잘 숙지하고 있어야 합니다. 일부 연구자들은 박사 과정 학생들이 연구의 투명성과 재현 가능성의 중요성을 숙지할 수 있도록 자신의 전공 분야에서 최소한 하나 이상의 반복연구를 수행하는 것을 학위를 따기 위한 필수 요건으로 지정할 것을 제안했습니다.
각 전공 분야에서 과학의 정확성을 확보하기 위한 다른 수단으로는 연구자들이 참고할 수 있는 프로토콜 또는 가이드라인의 확정입니다. 예를 들면, Conrad는 물리학자가 새로운 발견을 했을 때는 5-시그마 규칙(또는 평가표)을 적용해 이를 확인해야 한다는 주장을 했습니다. 대중성을 얻기 위해 온라인에 논문을 게시하는 것 역시, 논문의 품질을 확인할 수 있도록 규제되어야 합니다. 유의미해 보이는 발견이 있다면 저명한 검토자들이 참여해 엄격한 피어리뷰를 수행하고 확인되지 않은 발견이 성급하게 발표되지 않도록 규제해야 합니다.
저널과 출판서 역시 재현 불가능성이라는 문제를 해결하기 위해 힘을 합쳐 노력해야 합니다. 저널 대부분은 재현과 재해석이 가능하도록 논문과 함께 데이터 제출을 필수 요건으로 하고 있습니다. <Nature>, <Science> 같은 일부 최상위 저널이나 주요 출판사들은 연구의 투명성과 재현 가능성을 드높일 수 있는 공통 가이드라인에 대한 협의를 이루었습니다. “Science Exchange”에서는 “재현가능성 이니셔티브”를 시작해, 가장 영향력이 높은 50건의 암 연구를 각각 검증하는 중입니다.
과학계에서는 이렇듯 재현 불가능성의 문제를 해결하기 위한 많은 노력을 하고 있습니다. 그러나 일부 전문가들은 이런 면을 우려하기도 하는데, 연구결과의 재현이 가능하다고 해서 그것이 꼭 올바른 과학은 아니라는 점 때문입니다. 존스홉킨스 블룸버그 공중보건대학의 생물통계학과 조교수 Roger Peng은 이렇게 말합니다. “재현 가능한 연구 역시 틀린 연구일 수 있다. “틀린”연구라는 것은 결론이나 주장이 틀린다는 의미다.” Peng 교수의 설명은 이렇습니다. “재현 가능성이 중요한 것은 연구원이 어떤 연구에 대해 보증할 수 있는 바가 오직 재현이 가능하다는 여부뿐이기 때문이다.”
재현가능성은 과학의 핵심인 동시에, 아주 복잡한 기준이라는 것도 인정할 수밖에 없습니다. 어떤 연구 결과의 재현가능성과는 무관하게 과학에 대한 이해를 촉진할 수도 있는 것입니다. 그러므로 과학은 연구의 투명성에 이바지한다는 목표를 유지하면서 재현가능성을 위해 노력해야 할 것입니다.
