[전문가 의견] 피어 리뷰의 신뢰를 높이기 위해 저널이 해야 할 일

순진한 대학원생 시절, 피어 리뷰 과정이 학술 출판에 근본적인 과정이며 출판 원고의 질을 보장하기 위한 단계라고 배웠습니다. 그러나 사실, 피어 리뷰 시스템은 학술 출판의 한 규범으로 자리잡은지 얼마 되지 않은 시기부터 다양한 비난을 받아왔습니다.

1845년, 한 기사는 피어 리뷰어들을 '질투, 증오, 악의, 무자비함으로 가득한 교활한 심판관'이라고 묘사합니다.¹피어 리뷰의 근본적인 문제는 이 과정이 비밀스러운 블랙박스 상자와 같고, 그 상자가 출판사, 저널, 편집자, 리뷰어마다 다르다는 데 있습니다.²이러한 비판은 최근 출판사, 편집자, 리뷰어들이 가진 전반적인 편견을 밝혀낸 일련의 연구로 이어지고 있습니다.^3,4,5,6

학술 출판은 근본적으로 피라미드 구조와 같습니다. 자리를 아직 잡지 못한 경험이 적고 인맥도 제한적인 많은 연구자들이 가장 밑바닥에, 그리고 최고의 위치에 있는 이들이 꼭대기에 자리하고 있습니다. 그러나 정상의 위치에 있는 연구자, 편집자, 출판사들 조차도 피어 리뷰 체계에 좌절감을 느끼고는 합니다.

피어 리뷰 과정은 확장되는 학계의규모와 새로운 연구의 신속한 배포를 가능케 하는 인터넷으로 인해 한층 더 문제가 되고 있습니다. 많은 저널과 편집자들은 게재할 수 있는 것보다 훨씬 더 많은 투고를 받으며, 피어 리뷰어를 찾는 데도 애를 먹고 있습니다. 피어 리뷰어 입장에서도 빠듯한 일정 때문에 원고를 제 시간에 충분히 검토하기 힘든 경우가 많습니다. 많은 저널에서 원고를 10일 안에 검토를 해줄 것을 요청합니다. 시간에 쫓기다보니 검토가 엄격히 이루어지지 않거나, 경험이 부족한 학생들에게 넘겨지곤 합니다.하지만, 연구자 입장에서 견실한 출판 목록은 연구자 경력에서 필수적입니다. 영국과 같은 국가에서는 REF(Research Excellence Framework, 연구 평가 시스템) 및 관련 재정 인센티브로 인해 이러한 출판 압력이 한층 가중됩니다. 

저널과 출판사는 피어 리뷰의 신뢰 향상을 위해 무엇을 할 수 있을까?  

피어 리뷰 체계를 더욱 공정하고 효율적으로 대대적인 혁신을 해야 하며, 동시에 각 원고의 진정성과 중요성을 지속적으로 평가해야 합니다. 이렇게 하려면, 피어 리뷰가 저널과 출판사들에 걸쳐 표준화되어야 합니다. 그러나, 현재 출판사와 저널 간의 접근법이 크게 다른 것을 생각하면, 혁신을 이룰 방법을 결정하기 어렵습니다. 저널들은 잠재적 해결책들을 적극적으로 시험하고 시도하고 있지만 모두 결점이 있습니다.

예를 들어, 이중 블라인드(double blind) 방식의 피어 리뷰는 리뷰어와 저자가 서로 알 수 없으므로 편향을 줄일 수 있습니다. 일부 저널은 리뷰어들에게 투명성 보장을 위해 리뷰에 서명을 요청하지만, 이는 리뷰 과정에 영향을 미칠 위험이 있습니다. 개방적인 대화형 리뷰는 편향을 줄이고 과정의 투명성을 높이지만, 엄청난 시간이 소요됩니다. 전 과정에 기꺼이 헌신할 리뷰어를 찾는 것도 힘듭니다. 프리프린트(pre-print, 출판 전 논문) 서버는 투고 전 원고를 개선할 수 있도록 피드백을 주고받기에 유용합니다. 하지만 역시 과정이 느리고 출판이 보장되는 것은 아닙니다.

한 출판사는 논문을 검토 게시판에 올려 80여 명의 초빙 연구자들이 코멘트를 달 수 있는 폐쇄 검토 체계를 시험 중입니다. 이렇게 하면 원고를 더 널리 인터넷에 공개하기 전에 출판 전 검토를 받을 수 있습니다. 최근에는 연구 결과 대신, 연구 질문과 설계의 질을 평가받을 수 있는 등록 보고서 형식의 예비 피어 리뷰(prospective peer review)⁷가 제안되기도 했습니다.

연구자들이 제출한 원고는 대체로 편집자의 데스크 심사를 넘어 가기도 힘들며, 명확한 거절 사유도 밝히지 않은 짤막한 편지 한 장으로 거절당하는 일도 흔합니다. 따라서, 편집자들이 데스크 거절을 합리적으로 설명하고, 나아가 원고의 부족한 점이 무엇인지 아주 간단한 체크 목록이라도 제공할 수 있다면, 저자들이 다른 곳에서 출판할 때 도움이 될 것입니다. 또한, 전문 학술 교정 서비스를 제공하는 곳을 통해, 투고 전에 원고의 언어 및 내용 문제들을 개선하여 피어 리뷰까지 갈 가능성을 높이는 데 도움을 받을 수 있습니다. 하지만, 이는 비용 때문에 제한을 받는 저자들이 있을 것입니다.

그러므로 언어, 내용에 대한 도움을 포함하여 제출 전 피드백을 받기 위해 저자가 원고를 다른 연구자(이해 충돌을 피하기 위해 약간 다른 분야에서)에게 보낼 수 있는 사전 제출 '자원 시스템'을 구축할 수 있다면 출판사에 도움이 될 것입니다. 이는 도움이 필요한 저자를 지원하고, 경험 있는 피어 리뷰어 풀을 늘리는 두 가지 목적을 달성할 수 있는 방법입니다. 리뷰어는 대학원 과정에서 표준화된 교육을 받고, 이력서 추가 등 약간의 보상을 받을 수 있을 것입니다. (이미 리뷰어에게 논문 출판 비용 할인을 제공하는 출판사들도 있습니다).

이러한 아이디어(프리프린트 서버, 대화형 검토, 편집 서비스, 자원 시스템 등)가 반드시 피어 리뷰 체계에 대한 신뢰를 구축할 수 있을지에 대해서는 물론 확신할 수 없습니다. 그러나 적어도 경쟁을 좀 더 공평하게 만들 수는 있을 것입니다. 한편, 그간 학계가 피어 리뷰 과정 자체를 연구하며 해결책을 찾고 있다는 사실은 고무적입니다.⁷피어 리뷰에 대한 이해를 지속적으로 개선하고, 이러한 지식을 바탕으로 피어 리뷰 시스템의 향상에 활용할 수 있기를 바랍니다.

참고 문헌

1. Wade's London Rev. 1, 1845. in Peer review troubled from the start.  2016. 

2. Peer review: reform or revolution? Time to open up the black box of peer review. 1997. 

3. Peer review: a flawed process at the heart of science and journals. 2006. 

4. Sexism and nepotism in peer-review. 1997.

5. Peer-review practices of psychological journals: the fate of submitted articles, submitted again. 1982.

6. Deceit and fraud in medical research. 2006.

7. The limitations to our understanding of peer review. 2020.

8. Registered reports: prospective peer review emphasizes science over spin. 2019.