학자들은 대부분 피어 리뷰가 연구를 양적으로 측정하는 믿을 만한 척도라고 생각합니다. 그러나 때로 피어리뷰에 대한 문제가 제기되곤 합니다. 피어리뷰에 생길 수 있는 편향, 출판 후에 이루어지는 피어리뷰의 효율성 등이 예가 될 것입니다. 이런 여러 가지 이슈들에서 피어리뷰를 보는 관점은 저자, 리뷰어, 저널 편집자마다 크게 다릅니다. Taylor & Francis는 피어리뷰에 대한 글로벌 인식을 알아보기 위해 2015년 최대 규모의 국제 연구 조사를 실시했고 이 결과를 Peer Review in 2015 – A global view 라는 보고서의 형태로 출판했습니다.
Taylor & Francis 보고서는 기존에 이루어진 피어리뷰 연구인 Publishing Research Consortium (PRC) 와 Sense about Science 를 보충하면서, 피어리뷰 시스템의 주요 관계자들의 의견이 어떻게 변화했는지를 담았습니다.
이 연구에서 다룬 가장 중요한 질문들
오늘날 연구자들이 생각하는 피어리뷰의 목적은 무엇이며, 기대와 현실은 어떻게 다른가?
피어리뷰에 있어 윤리적인 이슈는 얼마나 자주 발생하는가?
보고서를 받거나, 논문을 리뷰하는 데 드는 시간에 대한 인식은 어떠한가?
리뷰를 위한 연구데이터 공개는 현실적인가? 리뷰 시 연구자들은 이를 어떻게 받아들이는가?
여러 가지 피어리뷰 모델에 대한 저자, 리뷰어, 편집자의 생각은 어떠한가?
보고서에 대한 기본사항
전 세계 7,438명이 조사에 참여했습니다.
보고서에서 초점을 둔 조사대상은 영국, 중국, 남아프리카의 6개 그룹이었습니다.
이 연구는 과학, 사회과학, 인문학, 의학 분야를 다루었습니다.
주요 연구 결과
1. 이전에 이루어진 조사 결과와 마찬가지로 저자, 편집자, 리뷰어 모두 피어리뷰 저널에 논문을 출판하는 가장 중요한 동기는 해당 분야에 이바지하고 연구를 모두와 공유하는 것이라는 데 동의했습니다.
2. 피어리뷰가 표절을 밝혀내는 역할을 해야 한다는 데도 대부분 동의했습니다.
3. 연구자들은 피어리뷰에 젠더 편향은 적지만 지역, 연령 편향은 더욱 많이 나타난다고 믿었으며, 이런 차별을 막기 위해 더블 블라인드 피어리뷰가 가장 좋은 방법이라고 보았습니다.
4. 연구자들은 논문의 피어리뷰를 위해 1-6개월 정도 기다리는데, 저자가 생각하는 적절한 피어리뷰 소요 기간은 2개월이었습니다.
5. 논문 외에 데이터까지 검토해야 하는가에 대해서 응답자들은 중도에 가까운 태도를 보였습니다. 기존에 이루어진 PRC 연구에서는 데이터 검토를 지지하는 입장이 더 많았습니다.
6. 오픈 리뷰, 출판 후 리뷰 등 다양한 리뷰 방식에 대해서는 균형 잡힌 시각이 나타났습니다.
7. 인문학 및 사회과학 (HSS) 분야, 그리고 과학, 기술, 의학 (STM) 분야의 연구자 대부분이 피어리뷰 과정이 논문의 품질 향상에 미치는 영향에 10점 중 8점 이상을 주었습니다.
8. HSS 분야 저자들은 STM 저자보다 피어리뷰를 통한 논문 품질 향상에 대해 잘 모른다고 응답했습니다.
9. 이상적으로 볼 때, 리뷰어가 공손한 태도로 피드백을 주고, 누락된 사항을 밝히며, 가독성을 높일 수 있는 수정사항을 권고하는 것이 바람직한 것으로 여겨지는 반면, 응답자들은 방법론 확인, 연구결과의 중요성 판단, 저널이 다루는 범위에 부합하는가의 여부 확인을 피어리뷰 과정을 통해 리뷰어로부터 얻고 싶은 요소로 꼽았습니다.
Taylor & Francis 보고서는 저자, 리뷰어, 편집자가 피어리뷰를 발전시키기 위해 커뮤니케이션과 시간 안배 영역에서 공유해야 할 목표를 강조했습니다. 이 연구가 피어리뷰에 대한 포괄적이면서 균형 잡힌 관점을 보여주기는 하지만, Scholarly Kitchen 운영자 Phil Davis가 이 연구의 약점을 비판하기도 했습니다. Davis에 따르면, “이번 Taylor & Francis의 연구가 가진 약점은 보고서에서 피어리뷰를 특정 목적을 위한 다양한 상황에서 사용되는 여러 가지 도구들의 집합이 아니라 일종의 개념으로 보고 있다는 것”이라고 합니다. 그는 “저자는 피어리뷰에서 무엇을 바라는가?” 처럼 혼란스러운 접근법보다는, “특정 문제를 파악하고, 이 문제를 해결하는 도구를 개발할 수 있을까?” 처럼 보다 특수한 질문에 대한 해답을 구하는 더 과학적인 접근법을 사용했더라면 피어리뷰를 둘러싼 문제점과 그 해결책을 마련하는 데 도움이 되었으리라고 설명했습니다.
보고서는 이렇게 결론을 맺습니다. “이번 연구를 통해, 연구자들은 연구산출물의 품질과 유효성을 평가하는 완전히 새로운 방식을 개발하기보다는, 기존 시스템을 유지하되 어느 정도의 수정은 필요할 것 같다는 보수적인 관점이 드러났다.”
피어리뷰는 앞으로도 과학 출판에서 빠질 수 없는 요소로 남을 것 같습니다.
