* 이 글은 피어 리뷰 주간 2020 시리즈 기사입니다. 행사에 온라인으로 참여하셔서 웨비나, 전문가 토론, 깊이 있는 자료 등을 접해 보시기 바랍니다. 더 알고 싶으시면, 여기를 클릭하세요.
소셜 미디어를 검색하다 보면 연구자들의 피어 리뷰 과정에 대한 좌절과 분노로 도배되어 있는 것을 보게 됩니다. 리뷰어의 코멘트가 혼란스럽거나 불충분하다고 불평을 터뜨리는가 하면, 리뷰어2(잔뜩 화가 나 신랄하며 지나치게 비판적인 코멘트를 남기는 피어 리뷰어를 뜻함)와 관련된 안 좋은 경험을 토로하기도 합니다. 이러한 견해는 서구에 한정된 것이 아니라, 한국, 중국, 일본, 브라질, 인도 등 신흥 연구 강국의 저자들 사이에서도 우세합니다. 물론, 피어 리뷰에 관한 이야기가 모두 부정적이지는 않습니다. 변하지 않는 사실은 좋건 싫건 피어 리뷰는 학술 출판에서 빼놓을 수 없는 중요한 과정이며, 연구자들은 피어 리뷰와 함께 잘 지내는 법을 익혀야 한다는 것입니다.
2020 피어 리뷰 주간을 맞이하여, 다음과 같은 질문을 던져보려고 합니다. 연구자들, 특히 신흥 연구 강국의 연구자들은 피어 리뷰 과정을 진심으로 신뢰할까요?
피어 리뷰에 관한 일반적인 불평은 무엇인가요?
가짜 뉴스가 판치는 세상에서 새로운 발견이 출판되기 전 전문가의 검증을 받는 것은 중요한 일입니다. 하버드대의 사회학자 미셸 라몬트(Michèle Lamont)는 2009년 저서 <교수들의 생각법: 학술 판정의 흥미로운 세계 속으로(How Professors Think: Inside the Curious World of Academic Judgment)>에서 피어 리뷰를 분석하고, 지식은 민주적이지 않으며 독창성과 지적 중요성의 평가는 분야 전문가들에 의해서만 가능하다는 견해를 밝혔습니다. 이런 이유로 피어 리뷰가 연구자들에게 학계의 커뮤니티에서 협력할 기회를 주면서, 연구를 검증하고 높은 수준을 유지하는 데 필요한 단계로써 널리 받아들여지고 있는 것입니다. 하지만 학술 출판계가 다양한 진화 방향을 모색하고 있는 가운데, 피어 리뷰에 관해서는 그 과정이 300여 년 전 도입된 이래, 이렇다 할 변화를 보이고 있지 않는 데에 비판의 목소리가 나오고 있습니다.
피어 리뷰 과정에 대해 제기되는 부정적 의견의 이유 중 하나는 전 지구적인 연구의 급증 경향입니다. 원고 투고의 증가는 연구자들이 느끼는 출판에 대한 압박에 의해 더욱 가속화되었으며, 이는 피어 리뷰 과정의 품질 문제, 투명성 부재 및 지연 등의 전반적인 문제로 이어지게 되었습니다. 퍼블론스의 한 연구에 따르면, 매년 검토되는 1,370만 건의 원고 중 50%가 모든 리뷰어의 단 10%에 의해 처리되고 있습니다.1 폭증하는 콘텐츠는 피어 리뷰어들의 부담을 가중시키고, 이미 과부하된 시스템을 더욱 지체시키고 있습니다. 더욱이, 전통적으로 베일에 싸인 피어 리뷰 과정의 투명성 부재는 피어 리뷰의 방법, 소요 시간, 리뷰어들이 얼마나 각 논문에 깊이 천착했는가 등에 대해 거의 알려지는 바가 없음을 의미하며, 이는 리뷰 오류와 부당한 결론으로 이어지기도 합니다.
이러한 결함은 엘스비어와 공동으로 이루어진 Sense about Science (SAS)의 2019 피어 리뷰 조사에 잘 드러났습니다. 조사 결과에 따르면, 비윤리적 연구 관행, 리뷰어 편향, 연구 무결성 유지 문제 등이 피어 리뷰 과정에 대한 신뢰를 좀먹고 있다고 밝혔습니다.2 애매한 피어 리뷰 과정의 약탈적 저널이 늘면서 재현 불가능하거나 의미 없는 ‘나쁜’ 과학의 확산으로 이어져, 평가 시스템에 대한 신뢰를 한층 더 훼손시키고 있습니다.
신흥 연구 강국 저자들은 피어 리뷰에 대해 어떻게 인식하고 있을까?
2018년 에디티지는 글로벌 저자 설문조사를 시행하여, 주로 한국, 중국, 일본, 인도, 브라질의 글로벌 연구자 코멘트를 수집하였습니다. 참가자 6,853명의 대부분은 전반적으로 피어 리뷰어 코멘트의 수준에 만족하였으나, 응답자 대부분은 피어 리뷰어 코멘트 반영이 어렵다고 인정했고, 피어 리뷰 수행 방식에 대해 일부 불만을 나타냈습니다.
응답자의 60%는 피어 리뷰 코멘트가 통찰력 있다고 답했으며, 44~45%는 코멘트가 명확하고 건설적이었다고 답했습니다. 한편, 46~47%는 리뷰어 코멘트가 혼란스러웠고 추가적 연구 요청을 포함하는 경우가 종종 있다고 답했으며, 이는 70%의 저자들이 피어 리뷰어의 코멘트에 응하기가 어렵다고 답한 원인이라 하겠습니다.3
그림 1: 저자들의 피어 리뷰 코멘트 경험
[출처] 저자 관점으로 본 학술 출판: 2018 에디티지 글로벌 설문 조사 보고서
지역 별로 보면, 중국 연구자의 62~79%는 피어 리뷰 코멘트가 통찰력 있고 이해하기 쉽고 건설적이라고 답했습니다. 하지만 중국 연구자의 60% 이상은 또한, 다른 리뷰어의 코멘트가 서로 상충하거나 혼란을 초래하며, 흔히 복잡하고 시간이 오래 걸리는 추가 연구를 요구한다고 불편을 토로했습니다.3 전반적으로, 조사는 피어 리뷰의 가치와 관련 경험에 대해 상반된 견해를 드러냈습니다. 다수 응답자가 저널과 리뷰어들이 처한 도전을 인식하고 있는 듯했으며, 피어 리뷰 과정에 대한 신뢰를 향상시키기 위해 변화가 필요하다고 말했습니다.
피어 리뷰 과정에 대한 신뢰 제고를 위해 무엇을 할 수 있을까요?
두 설문 조사에서 응답자들은 모두 피어 리뷰의 신뢰성을 높이기 위한 몇 가지 조치를 제안했습니다. 에디티지 조사에서 신흥 연구 강국 연구자들은 다음의 필요성을 강조했습니다.
- 피어 리뷰어의 편향과 자기방어적 거절을 제거할 수 있는 객관성, 공정성, 책임. 이중 블라인드 피어 리뷰가 바람직한 해결책으로 보임
- 품질 향상과 리뷰 시간 단축을 장려하기 위한 인정, 보상 및 인센티브
- 명확하고 건설적 논평으로 피어 리뷰 품질 향상을 위한 저널 편집인들의 피어 리뷰어 코멘트 평가 및 피드백
- 리뷰어 선정 과정 변화와 리뷰어들이 우수한 리뷰를 쓸 수 있도록 돕고, 그에 대한 책임을 일깨워주기 위한 기본적 피어 리뷰어 교육 권고
이 중 몇 가지는 Sense about Science(SAS) 조사에서도 뒷받침되고 있습니다. 대다수 응답자들은 리뷰어 지원과 인식 개선이 신뢰받는 품질을 보장하는 열쇠라고 생각했습니다. 흥미로운 점은 응답자 76%가 데이터와 보조 자료의 품질 관리 또한 중요하다고 여겼다는 것입니다.2 AI 기반 투고 준비 점검이 이미 책임이 무거운 피어 리뷰어들을 돕는 믿을 만한 해결책이 될 수 있는 지점입니다.
이러한 요구를 염두에 두고 탑 저널들은, 편향을 없애기 위한 피어 리뷰 공개 및 블라인드 피어 리뷰, 출판 후 피어 리뷰, 독립 피어 리뷰 서비스 유치 등 좀 더 신속하고 효율적인 리뷰 과정을 위한 다양한 모델을 실험해 왔지만, 품질 문제는 쉽사리 해결되지 않고 있습니다.4 이같이 저널에서 투명성을 증진하고 피어 리뷰를 개선하기 위해 노력할 때, 저자들도 피어 리뷰어의 부담을 덜어주기 위해 할 수 있는 일은 무엇인지 질문해 볼 필요도 있습니다. 피어 리뷰 과정을 간소화할 수 있는 한 가지 확실한 방법은 R Pubsure 투고 준비 점검을 통해, 출판을 위한 주요한 요건이 잘 갖춰진 원고를 투고하는 것입니다.
R Pubsure로 피어 리뷰 과정 가속화
18년 이상 백 만여 명의 연구자들과 작업하면서 얻은 편집 경험을 활용하여 R Pubsure는 AI 기반으로 안전하고, 신속 정확하며, 종합적인 원고 검토를 수행합니다. 각 원고는 언어 품질, 윤리 기준 준수 및 기타 주요 기준에 따라 평가되며, 저자들이 문제를 개선할 수 있는 명확한 제안이 담긴 R Pubsure 보고서를 받게 됩니다. 평점이 높은 원고는 투고 완료 R Pubsure 인증서가 부여되며 저널 편집인과 공유하여 리뷰 과정을 신속 진행할 수 있습니다. 투고 과정 간소화를 위한 스마트 솔루션인 투고 전 평가로 피어 리뷰어의 시간을 절약하고 부담을 줄여줄 수 있으며, 리뷰어로 하여금 원고의 결함이 아닌, 연구 자체에 더 집중할 수 있도록 돕습니다.
피어 리뷰는 학술 커뮤니케이션의 필수 과정이며 품질 관리의 필요 조건이지만, 결함 역시 존재합니다. 저널이 전 세계 연구자들을 위해 피어 리뷰를 개선할 여지가 상당하지만, 학술 출판 과정의 모든 참가자들 또한 각자의 몫을 충실히 수행해야 필요도 있습니다. 여러분도 지금 R Punsure에 등록하셔서 빠르게 투고 준비를 완료하시기 바랍니다!
* 피어 리뷰와 학술 출판에 관한 흥미로운 기사와 대화를 더 읽어보고 싶으시면, 여기를 클릭하셔서 피어 리뷰 주간 2020 이벤트에 무료로 참여하세요.
참고 자료
- Global State of Peer Review 2018, Publons. Retrieved from https://publons.com/static/Publons-Global-State-Of-Peer-Review-2018.pdf
- I. Syed - Quality and trust in peer review: An overview of Sense about Science 2019 survey. Editage Insights, 2019. Retrieved from https://www.editage.com/insights/quality-and-trust-in-peer-review-an-overview-of-sense-about-science-2019-survey?refer-type=article
- Author Perspectives on Academic Publishing: Global Survey Report 2018. Editage. Available online at https://campaign.editage.com/global_survey_report_2018/
- J. Patel, et. al. – Do peer review models affect clinicians’ trust in journals? A survey of junior doctors. Research Integrity and Peer Review, BMC, 2017. Retrieved from https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-017-0029-8
