“피어 리뷰는 무너졌나?” “현재의 피어 리뷰 과정은 지속 가능한가?” “오늘날 피어 리뷰가 의미가 있을까?” 지난 몇 년 간 학술 출판 관련 논의를 지켜보았다면, 이런 질문들이 지배적이라는 사실을 알고 계실 것입니다. 그러나 현재 상태의 피어 리뷰는 숱한 결함에도 불구하고 여전히 연구 작업에 대한 신뢰의 토대입니다.
연구자들 대부분은 피어 리뷰가 소기의 목적을 달성할 수 있다는 데 상당한 신뢰를 품고 있는 것 같습니다. 퍼블론스의 2018년 글로벌 리뷰어 설문조사(Publons’ 2018 Global Reviewer Survey)에 참여한 연구자 98%는 피어 리뷰가 중요하다, 또는 매우 중요하다고 생각했으며, 에디티지의 2018년 글로벌 저자 설문조사의 응답자 60%는 피어 리뷰어 코멘트가 원고 개선에 도움을 주었다고 밝혔습니다.
코로나 19 이전 시대에 피어 리뷰에 대한 신뢰가 흔들리는 것처럼 보였다면, 코로나19 시대를 맞은 지금은 심각한 도전을 받고 있다고 해야 할 것입니다. 이런 상황에서 과연 피어 리뷰가 효과가 있는지, 특히 큰 파장을 일으켰던 피어 리뷰가 진행된 코로나 19 관련 논문 철회 사건과 맞물려 의문이 제기되고 있습니다.
그렇다면, 지금과 같은 세계적 보건 위기 상황을 맞아 피어 리뷰는 여전히 신뢰할 만할까요? 현재 팬데믹으로 피어 리뷰에 대한 연구자들의 견해가 바뀌었는지에 대한 증거는 없습니다. 따라서 아직 확실한 대답을 내놓기에는 이르지만, 학계와 학술 출판계가 어떻게 위기 상황에 대응하고 있는지 이해하는 것은 도움이 될 것입니다.
코로나 19 관련 연구를 발표하는 저널이 맞닥뜨린 중요한 도전은 엄격한 품질 관리와 신속한 처리의 균형을 맞추는 일입니다. 저널 측에서는 투고 원고 급증에도 불구, 원고 처리 시간을 대폭 줄여 긴급 상황에 대처할 수 있었습니다. 연구에 따르면, 코로나 19 관련 논문의 원고 투고-승인 평균 시간은 6일로 2019년 일반 논문의 평균 93일에 비해 매우 짧았습니다. 뿐만 아니라, 코로나 19 논문 출판 속도는 2012년 중동호흡기증후군(Middle East respiratory syndrome, MERS) 당시보다도 훨씬 빨라 공중보건 위기에 신속 대처하려는 출판인들의 공조가 이루어졌음을 시사합니다.
하지만 이러한 연구에서는 실제 과정의 신속한 처리를 위해 사용된 편집 전략에 대해서는 다루지 않고 있습니다. 그래서 학술출판계에서 속도와 품질이라는 두 마리 토끼를 잡기 위해 채용하고 있는 전략들을 잠시 살펴보기로 하겠습니다.
원래 신속 리뷰(rapid review)나 급행 출판(fast-track publication) 옵션을 제공했던 저널들(예: 뉴잉글랜드저널오브메디슨(NEJM, New England Journal of Medicine)은 저자의 요청에 따라 해당 방식으로 코로나 19 논문을 처리합니다. 일부는 밀려드는 논문 처리를 위해 다른 과정을 도입했습니다. 예를 들어, 미국 의사협회 저널(Journal of the American Medical Association, JAMA)은 기술적이고 직접적인 코로나 19 관련 논문은 관련 분야에 전문성을 갖춘 JAMA 편집인들에 의해 주로 내부 리뷰로 진행하고, 관행이나 정책 형성에 중요할 것으로 판단되는 논문들은 평소대로 외부 리뷰어의 리뷰를 받습니다.
그러나 피어 리뷰 저널 중 코로나 19 관련 투고를 자원 리뷰어의 도움 없이 전적으로 처리할 수 있는 시스템을 가진 저널은 거의 없습니다. 모든 저널에 제출 원고 다수에 대해 급행 처리를 허용하는 시스템이 있는 것도 아닙니다. 따라서, 더욱 집중적인 노력이 필요하게 됩니다.
이러한 노력의 일환으로 저널 출판 그룹과 출판사 및 연구자들 사이에 공조와 조정이 이루어지고 있습니다. 4월, eLife, Hindawi, PLOS 및 Royal Society 등 출판사 그룹이 빠른 리뷰 촉진을 위한 공개 성명서를 발표했습니다. 여기서 이들 저널은 코로나 19 관련 빠른 리뷰를 위해 관련 전문 지식이 있는 연구자들에게 출판사 상호 공유 목록에 자발적으로 신청을 해 줄 것을 요청하였습니다. 자원 리뷰어들은 5일 내 리뷰 완수 임무를 요청 받게 됩니다.
코로나 19는 불과 9개월 전에 발생한 새로운 질병이며, 다양한 양상을 연구하는 데는 생명과학에서 사회과학에 이르는 광범위한 분과학문의 전문성이 필요합니다. 저널이 각 논문을 리뷰할 전문 인력을 찾고, 리뷰 요청 수락을 기다리는 데만도 상당 시간이 소요될 것입니다. 또, 적당한 리뷰어를 찾지 못하거나 작업이 불가능하면, 저널은 필요한 전문 지식이 없을지 모르는 2차 리뷰어에게 리뷰를 부탁해야 할 것입니다. 이런 상황에서 상호 공유 목록은 꼭 필요한 계획입니다.
이 공개 서한의 서명인들은 리뷰의 출판사 간 이전에 대해서도 약속하게 되며, 만일 한 저널이 투고 원고가 다른 출판사 저널에 더 적합하다고 판단하면, 원고에 대한 리뷰도 자연스럽게 이전하게 됩니다. 따라서, 리뷰어의 시간을 더욱 신중하게 이용하고 원고의 중복 리뷰를 피할 수 있습니다. 이는 특히 리뷰어들이 코로나 관련 작업에 시달리기 시작하면서 더욱 중요해졌습니다.
또한, 출판사들은 코로나 19 연구의 빠른 배포를 위해 프리프린트의 중요성이 더해지면서, 저자들에게 논문을 프리프린트 형식으로 게재하기를 권장합니다. 그리고 리뷰어들에게 Outbreak Science Rapid PREreview와 같은 플랫폼의 주요한 코로나 19 프리프리트 논문을 검토하거나 표시해둘 것을 권하고 있습니다.
이와 같은 리뷰 과정의 효율성 향상을 위한 노력은 실제로 피어 리뷰 품질이 최대한 훼손되지 않도록 보장하기 위해 매우 중요합니다.
물론, 피어 리뷰가 코로나 이전 시대라고 해서 오류가 없는 것은 아니었습니다. 저널에서 미묘한 균형을 잡으려 하는 동안 실수도 있었습니다. 연구자와 저널이 겪는 압박과 오류 있는 연구 게재가 의미하는 바를 감안하여 일부 조직과 관계기관에서 코로나 19 논문 리뷰 방침을 제공하였습니다. 유럽과학편집인협회(EASE)는 품질 기준 성명서를 발표하며, 저자와 편집자들에게 다음과 같이 권고하였습니다.
1. 역학 연구를 위해 CONSORT 및 STROBE 등 표준 윤리 및 보고 지침 준수
2. 전체 연구 데이터 공유
3. 연구 관련 모든 제한 사항을 명확하게 보고하여 독자가 결과에 따른 결정 보장
4. 연구를 이해할 수 있고 출판 과정을 촉진할 수 있다면 지나치게 엄격한 언어 요구 사항 피할 것
품질 외에도 투명성 또한 피어 리뷰의 핵심 요소입니다. 출판윤리위원회(COPE)는 저널과 출판사에 코로나 19로 인해 출판 논문의 질에 영향을 미칠 수 있는 편집 및 피어 리뷰 과정에서의 변경 내용을 공개할 것을 요청했습니다.
아울러, COPE는 수정이나 철회를 필요로 할 수 있는 출판 후 피드백 조치의 중요성을 강조합니다. 예를 들어, JAMA는 코로나 19 논문에 대한 빠른 온라인 논평을 허용하여, 이 과정을 촉진하고 있습니다. 이런 식으로 편집자에게 편지를 보내는 기존 경로와 달리 ,독자의 우려 사항이나 질문을 즉시 공유할 수 있습니다.
란셋 지(Lancet)는 서지스피어의 데이터를 기반으로 한 코로나 19 논문에 대해 연구자들이 심각한 우려를 제기하자, 출판 2 주 이내에 해당 논문을 철회했습니다. 그리고 이후, 피어 리뷰 절차를 수정하여 모든 저자와 리뷰어에게 사용한 데이터와 방법의 신뢰성 진술을 요구했습니다.
이런 시기에 피어 리뷰를 신뢰할 수 있는가에 대한 의견은 연구자들 사이에 크게 갈릴 수 있습니다. 피어 리뷰의 장점과 단점은 극명하게 대비됩니다. 그러나 코로나19가 지난 몇 달 동안 전례 없는 과제를 제시했으며, 학계에서는 피어 리뷰의 무결성 유지를 위한 여러 접근 방식을 선별하기 위해 신속하고, 열심히, 그리고 모두 함께 노력해 왔다는 점을 높이 평가하는 것이 중요합니다.
피어 리뷰에 대한 신뢰는 개별 연구자와 저널/ 출판사에 대한 신뢰의 조합입니다. 모두 신중하게 윤리적으로 행동하면서도, 신속하고 투명한 방식으로 우려 사항에 대처해야 합니다. 이러한 위기 상황에서는 쉽게 실수에 집중하게 되지만, 학계가 상황을 학습하고 적응하는 방식을 실제적으로 살펴보고, 가능하다면 지속적인 위기 기간 동안 피어 리뷰 시스템을 보호하기 위한 조치들을 평가하는 것도 중요합니다.
*이 기사는 AI 수집 데이터와 인간 큐레이션을 결합한 플랫폼 R Concept를 기반으로 합니다. 해당 플랫폼은 코로나 19 관련 주제를 연구하는 연구자가 원하는 자료와 통찰을 쉽게 찾을 수 있도록 지원합니다.
*코로나19 기간 동안의 피어 리뷰의 신뢰와 관련하여 더 궁금하시다면 2020 년 9 월 21 일 (월) 전문가가 진행하는 웨비나에 함께하세요. 이 웨비나는 캑터스 커뮤니케이션즈가 진행하는 피어 리뷰 주간 2020의 다양한 활동 가운데 하나입니다.
