“과학 출판물에 실린 논문은 학문 그 자체가 아니라 단지 학문의 광고일 뿐이다.”
<Reproducible Research for Scientific Computing: Tools and Strategies for Changing the Culture>
저는 이 문구를 정말 좋아합니다. 이 문구를 보면 저널 논문이 무엇인지에 대해 생각하게 됩니다. 출판된 논문은 끝이 아니며 논문보다 더 광범위한 실제 연구 그 자체인 더 큰 그림에 이르는 수단입니다.
더 큰 그림이란 무엇인가?
연구에 사용된 데이터와 방법론은 출판된 논문이 그것이 보고하고자 하는 연구를 진정으로 나타낸 것임을 보장하는 데 중요한 역할을 합니다. 데이터와 방법론은 출판물에 제시된 주장이 철저한 검증에도 유효함을 보장하도록 합니다. 일단 한 이론이 눈앞의 증거로 뒷받침되면, 또는 한 연구가 연구 기금을 받으면, 또는 심지어 논문의 저널 게재가 승인되면 데이터와 방법론은 소멸하지 않으며 소멸할 수도 없습니다.
오늘날의 치열한 경쟁 속에서 연구자들은 흔히 논문을 출판하는 것이 성공에 이르는 사다리의 궁극적 단계라고 생각합니다. 하지만 사실 과학적 탐구는 저널 논문 그 이상의 것이며 과학 자체에 관한 것입니다. 최근 몇 년 동안 점차 강조되고 있는 과학 연구의 반복(replication) 필요성과 놀랄만한 게재 취소 비율은 우리가 과학적 연구 결과의 재현성(reproducibility)에 대해 생각해 볼 필요가 있음을 시사합니다. 그래야 이러한 결과가 언제 어디서나 다른 과학자들과 전문가들에 의해 확인되고 논의되고 발전될 수 있을 것입니다. 이는 다시 데이터와 방법론의 중요성을 강조합니다. 이 글에서 저는 연구가 재현 가능하다는 것을 보장하는 데 있어 이 두 가지, 데이터와 방법론이 수행하는 역할에 관하여 이야기하고자 합니다.
과학적 탐구는 저널 논문 그 이상의 것이며 과학 자체에 관한 것입니다.
데이터: 알 수 있게 보여주자.
데이터 공유는 과학적 방법의 반복가능성(replicability)을 보장하는 좋은 방법입니다. 학계에는 (ClinicalTrials.gov나 Open Science Framework와 같은) 연구 데이터 리포지터리에 대한 요구와 오픈 액세스 데이터베이스에 대한 인기가 높아지고 있습니다. 자신의 데이터를 공유함으로써 다른 이들이 좀 더 큰 맥락에서 자신의 연구를 이해하도록 도울 수 있을 뿐만 아니라 다른 연구자들이 자신의 연구를 반복함으로써 자신의 연구 결과를 검증하게 할 의사가 있다는 것을 보여줄 수 있습니다. 투명하고 포괄적인 데이터 세트는 다른 설정에서 같은 정보로 연구를 재현하고 이어서 검증할 수 있도록 합니다. 자신의 데이터를 풀지 않으면 이러한 의미를 거둘 수 없습니다.
방법론: 뿌린 대로 거둔다.
주장/명제에서 증명에 이르는 여정은 한 방향의 길이 아닙니다. 모든 탐구는 반복적입니다. 과학 저자는 생각하고 다시 생각하며, 연구의 피드백 고리에서 빠져나올 수 없습니다. 연구자로서 여러분은 반드시 연구에서의 반복을 수용하는 접근법을 받아들여야 합니다. 단순히 결론에 도달하는 것을 목표로 하는 선형적 접근(linear approach)은 연구와 연결되어 가장 자주 사용되는 용어인 “발전”에 해가 됩니다. 사회가 직면한 가장 시급한 문제에 대한 해답을 찾을 유일한 방법은 연구하고 발전시키는 것입니다. 그리고 이러한 문제들에 대한 해결책을 찾는 한 방법은 연구 방법론이 재현성을 갖도록 보장하는 것입니다.
여기에 쉬운 길은 없습니다. 직관적 패러다임은 경험적으로 관찰하고, 아이디어를 만들어 내고, 그 아이디어가 참이라는 가설을 세우고, 다시 관찰함으로써 그 전제를 시험하는 것입니다. 모순된 관찰이 충분한 수로 모이면 가설이 거부될 수 있지만, 이를 보완하는 관찰이 아무리 많아도 가설의 보편적 진실성을 확립할 수는 없습니다. 하지만 다수의 관찰을 통해 얻은 더 많은 뒷받침은 연구의 개념을 강화할 수 있습니다. 저는 이것이 “보편적,” “진실성,” “확립하다”가 과학 연구에서는 편중된 단어들이기 때문이라고 말하겠습니다. 이 단어들은 절대적인 것을 나타냅니다. 자기 연구 결과의 효능을 보장하려면 절대적인 것을 피하고 거듭된 반복으로 시험할 수 있는 사실을 고수하는 것이 최선입니다.
과학 출판물은 여러분 혼자 저술했을 수 있지만, 그것의 이론적이고 실제적인 기여는 여러분과 학계가 공동으로 만든 것입니다.
이제 더 큰 그림이 보이시나요?
제가 처음에 공유한 문구로 다시 돌아가게 되네요. 출판된 논문은 과학적 여정의 끝이 아닙니다. 그것은 단지 훨씬 더 방대한, 실제 과학을 나타낼 뿐입니다. 우리가 과학 연구의 주요 목적이 인류를 발전시키고 중요한 문제를 해결할 수 있도록 돕는 것이라는 사실에 동의한다면 반복(replication)에 그에 마땅한 중요성을 부여하고 우리가 할 수 있는 모든 방법으로 이것을 지원해야 할 것입니다.
이를 지원하기 위해 할 수 있는 나의 몫은 무엇일까?
자신의 데이터를 공유하고, 다른 맥락에서도 조화될 수 있는 유연한 방법론을 채택하고, 자신의 데이터와 방법론의 한계를 확인하고, 자신의 연구 결과를 토대로 이뤄질 수 있는 미래 연구의 범위를 명확히 해야 합니다. 과학 출판물은 여러분 혼자 저술했을 수 있지만, 그것의 이론적이고 실제적인 기여는 여러분과 학계가 공동으로 만든 것입니다. 이론가들이 여러분의 연구를 반복하게 하고 전문가들이 연구 결과의 적용가능성을 관찰하도록 함으로써, 여러분은 학계를 받아들이는 것이 됩니다. 그리고 이는 학계가 여러분을 받아들이는 것보다 더 큰 성과를 거둘 수 있습니다.
관련 동영상 :
Video - John Ioannidis: "Reproducible Research: True or False?" | Talks at Google
참고할 만 한 글 :
- 공유할 것인가, 하지 않을 것인가: 연구자들의 데이터 공유 동기는?
- 멋진 신세계: 과학적 진보를 위해 오픈 데이터 의무사용 정책을 받아들이는 국가들
- 재현성 위기(reproducibility crisis)는 현실인가? Nature 조사 살펴보기
- 재현 불가능성(irreproducibility)에 내재한 문제점-통일된 정의의 부재
