출판물과 저널 수의 증가에 따라 필요한 피어 리뷰어 수와 리뷰가 가능한 수 사이의 격차가 벌어지고 있습니다. 많은 연구자들이 촉박한 시간과 충족해야 하는 자체 출판 및 자금 요구 사항으로 인해 검토 자체를 기피합니다. 이로 인해 빈번히 소수의 학자들에게만 피어 리뷰 수행에 대한 요구가 가중되고, 이는 리뷰어에게 부담이 됨과 동시에 논문 출판을 바라는 저자들의 끝없는 기다림으로 이어집니다.
검토물에 대한 피어 리뷰어들의 기대치는 저널 및 분야, 지역의 특색의 따라 다양하며, 학술 및 출판 환경 내 변화의 양상과 정도에 따라 상이할 수 있습니다. 이 모든 요소가 현재 피어 리뷰 시스템을 압박하는 요인이 되고, 출판된 연구의 품질과 무결성을 유지하는 프로세스의 효율성에 의문을 제기하게 만듭니다.
이러한 여러 현실적 장벽에도 불구하고, 학계에서 차지하는 피어리뷰의 필수적 역할은 부인할 수 없습니다. 어떤 형태로든 연구 품질을 보증하는 것은 언제나 학문이라는 거대한 기계를 움직이게 하는 중요한 톱니바퀴가 되기에, 학계는 피어 리뷰가 수행되는 방식에 희망과 변화를 알리는 새로운 모델을 적극적으로 제시하고 있습니다.
새로운 피어 리뷰 모델
학술 보급의 형식은 계속 진화하고 있습니다. 인쇄 전용, 구독 기반의 기존 저널에서 이제 우리는 디지털 출판 및 오픈 액세스(OA) 시대로 진입하였습니다. 특히 코로나(COVID-19) 유행과 기후 변화와 같은 글로벌 위기에 직면하여 개방형 과학 및 개방형 데이터 방식은 탄력을 받고 있습니다.
이에 대한 대응으로 피어 리뷰 모델 역시 변화의 조짐을 보이고 있습니다. 예를 들어, 현재 팬데믹 기간 동안 학술지들은 관련 콘텐츠에 대한 학술지 검토 및 출판을 앞당기기 위한 패스트 트랙 시스템을 따랐습니다1. PLOS 및 eLife와 같은 학술 출판 및 커뮤니케이션 조직은 코로나19 연구물에 대한 피어 리뷰의 효율성을 극대화하기 위해 신속 검토 이니셔티브(Rapid Reviewer Initiative)를 수립하였습니다. 이는 "학술 커뮤니케이션 시스템의 성능에 대한 유용한 통찰력을 수집하기 위해 학계 출판사들이 협력한 전례 없는 매우 드문 순간"2이었습니다.
한편, 프리프린트를 통해 개방적이고 효과적인 피어 리뷰를 가능하게 하는 특별한 기회를 제공합니다. 지난 몇 년의 시간은 피어 리뷰와 관련하여 진화하는 다양한 요구와 기대를 충족시키기 위해 새로운 형식과 아이디어가 화수분처럼 쏟아지는 시기였습니다. 이 시기 이루어진 몇 가지 주목할 만한 발전된 사항을 살펴보겠습니다.
공개 피어 리뷰 (Open Peer Review, OPR)
개방형 심사인 공개 피어 리뷰(Open Peer Review, OPR)는 리뷰와 출판 결정을 보다 투명하게 만드는 것을 목표로 합니다. 공개 피어 리뷰(OPR)에 대한 명확한 정의는 없지만, 광범위하게는 피어 리뷰 프로세스의 요소가 출판 전후에 공개적으로 제공되는 형태를 의미합니다. 이 시스템은 다음의 조합에 따라 달라집니다.
- 신원 공개: 검토자의 신원이 공개되어 있습니다.
- 공개 보고서: 피어 리뷰 보고서는 관련 논문과 함께 게시됩니다.
- 공개 참여: 논문은 공개적으로 분석과 피드백을 받을 수 있도록 커뮤니티에 공개되어 있습니다.
다양한 형태의 개방형 심사는 여러 저널과 학술 플랫폼에서 구현되었습니다. EMBO 저널은 편집자가 출판 결정을 내리기 전에라도 서로의 보고서에 대해 논평하는 리뷰어 간의 출판 전 상호 의견 교환을 허용합니다. 프론티어 저널(Frontiers)은 저자 및 리뷰어, 부주필(Associate Editor, AE)이 참여하는 양방향 협업 단계를 적용하여 신속한 합의 도출을 유도합니다. 3
검토 보고서를 공개한다는 것은 연구 커뮤니티가 검토 프로세스를 평가할 수 있음을 의미합니다. 공개 검토 보고서는 검토자에 대한 인정에도 영향을 미칩니다(이 글의 아래에서 확인할 수 있습니다).
장점
• 공개 피어 리뷰는 익명의 베일 아래에서 발생할 수 있는 책무성 부족 및 비윤리적 검토 관행과 같은 문제를 해결할 수 있습니다.
• 검토자 신원 공개은 검토자가 세심하고 건설적 평가를 할 수 있도록 사기를 장려합니다.
단점
• 공개 피어 리뷰에 대한 단일하고 명확한 정의가 없습니다.
• 일부 검토자(특히 신입 연구자)는 기존 연구자의 원고를 검토할 때 비판적 피드백을 제공하는 것을 경계하거나 이를 주저할 수 있습니다.
출판 후 피어 리뷰 (Post-publication peer review)
피어 리뷰어를 찾기 전에 논문이 출판되면 이를 출판후심사, PPPR(post-publication peer review)이라고 합니다. 출판후 심사(PPPR) 형태는 피어 리뷰의 투명성이 확보될 수 있습니다. 학계의 모든 사람이 논문이 공개된 후 이를 평가할 수 있도록 함으로써 분석 조사의 기간이 확대되어 출판일 시점에 구애받지 않습니다.
이 방식은 편집자에게 보내는 레터(Letters to the Editor) 및 블로그 게시물, 소셜 미디어 게시물과 같은 다양한 형식을 취할 수 있습니다. eLife와 같은 몇몇 출판 플랫폼들이 이러한 모델 개척에 선두주자였습니다. eLife 편집장 마이클 아이젠(Michael Eisen) 및 그의 동료들은 eLife가 “인쇄 시대에 개발된 기존의 '검토 후 출판' 모델을 인터넷 시대에 최적화된 '출판 후 검토' 모델로 대체” 4하고 있다고 평가하였습니다.
트위터 피어 리뷰(Twitter peer review)는 PPPR의 형태로 간주될 수 있습니다. 오늘날 많은 과학자들은 트위터와 같은 소셜 미디어 플랫폼에서 적어도 매일 일정 시간을 보냅니다. 트위터 상 수많은 연구자들은 때로는 유머와 밈 등을 적절히 버무려 일반사람들도 쉽게 이해할 수 있는 언어로 논문과 연구의 한계, 강점 및 결론을 해부하여 분석합니다! 트위터 "스레드(thread)”는 복잡한 개념과 현상을 설명하는 방법으로 빠르게 자리잡고 있습니다.
즉, 트위터가 공식적 피어 리뷰 시스템이 될 수는 없더라도, 중대한 문제에 대한 주의를 환기시키고 중요한 메시지를 전파하는 채널로서의 역할을 할 수 있습니다.
다양한 형태의 출판 후 심사는 계속적으로 학문적 지형의 일부로 남아 새롭고 중요한 모델로 다양화 될 수 있습니다.
장점
• 신속한 출판이 가능합니다.
• 연구자와 다양한 기여자 간의 의미 있는 토론을 촉발할 수 있습니다.
• 트위터 공간에서 이루어진 비평은 기존의 채널을 통해서는 주의를 끌기 어려웠던 출판된 논문의 측면에 대한 대중의 관심을 도모할 수 있습니다.
단점
• 사전 피어 리뷰 없이 이루어진 빠른 출판은 품질이 좋지 않은 연구가 널리 퍼지게 되는 결과를 초래할 수 있습니다.
• 트위터 리뷰는 학계 밖 외부 사람들에게 잘못 해석될 수 있습니다.
• 트위터 리뷰의 어조는 공격적이게 받아들여 질 수 있습니다.
결과를 가린 피어 리뷰 (Results-masked review)
또 다른 형태는 결과가 아닌 연구 질문과 방법론만을 토대로 원고를 판단하는 "결과 블라인드 리뷰"라는 새로운 형태의 흥미로운 피어 리뷰 방식입니다. 이 형태의 피어 리뷰에서는 결과, 토론 또는 결론이 없는 원고를 피어 리뷰어에게 먼저 보내 원고를 정밀하게 검토하게 하여, 이 단계를 거쳐 승인된 경우에만 다음 단계로 넘어가 전체 원고를 검토할 수 있게 합니다. 5
장점
• 긍정적 결과만을 선호하는 출판 편향을 피할 수 있는 훌륭한 단계입니다.
• 방법론적 정확성에 더욱 중점을 둡니다.
단점
• 널리 채택되지는 않은 형태입니다.
• 리뷰 논문과 같이 실험 섹션이 없는 원고에는 적용하기 어려울 수 있습니다.
기타 피어 리뷰계의 최근 동향
리뷰어 인센티브
학계의 이해관계자들은 피어 리뷰 보고서를 학술적 결과물로 인정할 필요성을 체감하고 있습니다. 예를 들어, ScienceOpen 플랫폼에서는 모든 리뷰가 공개적으로 사용 가능하며, 디지털 콘텐츠에 부여되는 고유 식별번호인 DOI(Digital Object Identifier)가 부여되어 있어, 해당 원고가 온전히 인용될 수 있게 하여 리뷰 프로세스에서 인정될 수 있습니다. 검토 기록은 CV에서 인용할 수 있습니다6.
리뷰어 크레딧(Reviewer Credits) 및 (현재 Web of Science의 일부가 된) Publons와 같은 이니셔티브는 리뷰어에게 혜택을 제공하고, 비 OA 저널 콘텐츠에 접근할 수 있는 "크레딧(Credits)" 등을 통해 연구자들이 피어 리뷰어로서 투자한 노력을 보상합니다.
피어 리뷰의 다양성과 포용성
다양한 배경을 가진 개인들의 피어 리뷰는 편향성을 예방하고 발전을 촉진하며 과학적 정확성을 높이는 데 필수적입니다. 저널은 편집 위원회와 리뷰어 풀에서 다양성, 형평성 및 포용성(Diversity, Equity, Inclusion, DEI)에 대한 중요성을 점점 더 인식하고 있으며, 적극적으로 다양한 성별 및 지리적 배경, 각각의 경력 단계에 속한 학자들로 리뷰어진을 구성하기 위해 노력하고 있습니다. 학술 출판사는 현재 피어 리뷰에서 DEI를 개선하는 방법을 개발하고 구현하는 데 전념하고 있으며, 이는 과학의 다양화와 개선에 있어 중요한 문화가 될 것입니다. 7
인공 지능을 통한 피어 리뷰
언어 검사, 표절 탐지, 저널 규정 준수 검사를 위한 인공 지능(AI) 기반 도구들은 저자와 출판사 모두에서 사용되고 있습니다. 인공지능을 통해 피어 리뷰 역시 가능한 흥미로운 세상이 열릴 수도 있습니다. 인공지능 기술을 통해 검토자를 선정하고 인공지능이 원고의 결론을 요약하여 검토자의 부담을 줄여줄 수 있습니다. 피어 리뷰에서 인공지능을 활용하면 사전 피어 리뷰 심사와 피어 리뷰 프로세스의 일부 측면을 단순화하고 반자동화가 가능합니다.8
피어 리뷰 형태의 밝은 미래
피어 리뷰는 1665년 영국왕립학회의 철학 회보(Philosophical Transactions)와 함께 과학 출판이 시작된 이래 먼 길을 걸어왔습니다. 피어 리뷰의 유연성은 최근 전염병 기간 동안 학술 콘텐츠가 처리되는 방식에서 입증되었습니다. 이러한 현상은 피어 리뷰의 프로세스를 변화하는 방법이 얼마나 다양하고 가능한지를 보여주는 증거입니다. 피어 리뷰의 모든 혁신은 기존 시스템의 한계와 비판을 불식시킬 잠재력이 있습니다. 학술 콘텐츠를 더욱 신속하고 더욱 투명하게 평가할 수 있는 새로운 방식이 개발될 거라 충분히 기대할 수 있으며, 이러한 변화는 예외가 아닌 규범이 될 것입니다.
참고문헌
1. Horbach, S. How the pandemic changed editorial peer review – and why we should wonder whether that’s desirable. LSE Impact Blog. (2021). https://blogs.lse.ac.uk/impactofsocialsciences/2021/02/10/how-the-pandemic-changed-editorial-peer-review-and-why-we-should-wonder-whether-thats-desirable/
2. PLOS Blog. Study finds COVID-19 research freely accessible, but research data sharing and preprinting are low. (2021). https://theplosblog.plos.org/2021/12/rori-covid-19-research/
3. Ross-Hellauer, T. What is open peer review? A systematic review What is open peer review? A systematic review [version 2; peer review: 4 approved]. F1000Research 6, 588 (2017). https://doi.org/10.12688/f1000research.11369.2
4. Eisen, M.E., Akhmanova, A., Behrens, T.E., Harper, D.M., Weigel, D., Zaidi, M. Peer Review: Implementing a “publish, then review” model of publishing eLife 9, e64910 (2020). https://doi.org/10.7554/eLife.64910
5. Elsevier (2017). Results masked review: peer review without publication bias. Elsevier Connect. https://www.elsevier.com/connect/reviewers-update/results-masked-review-peer-review-without-publication-bias
6. Review on ScienceOpen. About ScienceOpen https://about.scienceopen.com/peer-review-guidelines/ (2020).
7. Dewidar, O., Elmestekawy, N., Welch, V. Improving equity, diversity, and inclusion in academia. Res Integr Peer Rev 7, 4 (2022). https://doi.org/10.1186/s41073-022-00123-z
8. Checco, A., Bracciale, L., Loreti, P. et al. AI-assisted peer review. Humanit Soc Sci Commun 8, 25 (2021). https://doi.org/10.1057/s41599-020-00703-8