신뢰는 피어 리뷰의 기반입니다. 학술 출판계는 지난 몇 년 간 피어 리뷰를 강화하려는 여러 접근법을 시도했으며, 현재 팬데믹은 피어 리뷰에 전례 없는 부담을 주고 있습니다. 연구자들은 피어 리뷰를 얼마나 신뢰할까요? 어떠한 요인이 피어 리뷰에 대한 신뢰에 영향을 미칠까요? 코로나19 위기 가운데, 피어 리뷰에 대한 신뢰는 어떻게 유지될 수 있을까요?
이러한 질문을 세계적으로 가장 주요한 연구 배출 국가이자, 코로나19와 관련된 연구를 가장 많이 배출한 국가 중 하나인 중국의 연구자들에게 물어보았습니다. 이번 포스팅에는 에디티지가 수행한 조사의 결과를 요약하였습니다.
조사 기간: 2020년 8월 20일 ~ 9월 5일
총 응답자 수: 545명
주요 설문 구성: 1~5점[매우 동의/동의/보통/동의하지 않음/매우 동의하지 않음]으로 해당 문구에 동의하는 정도를 평가하는 문항 1건, 신뢰 관련 요소를 중요도에 따라 순위를 매기는 문항 1건, 피어 리뷰에 대한 신뢰에 미치는 코로나19의 영향에 관한 문항 1건
조사 배포 채널: 위챗
응답자들의 인구통계 분포
대다수의 응답자가 남성, 박사학위 소지자, 경력 초기의 연구자들이었습니다. 대부분 5편이 넘는 논문을 게재하였으며, 자연과학 및 공학 관련 분야에 속한 응답자 비율이 가장 높았습니다.
주요 결과
응답자 59%가 피어 리뷰어의 코멘트가 유용하다고 하였으며, 상당수인 79%가 그렇지 않은 논문보다 피어 리뷰를 거친 논문의 질을 더 신뢰한다고 답하였습니다.
(참고: 아래 그림에서 ‘전반적으로 동의’와 ‘전반적으로 동의하지 않음’은 ‘매우 동의/동의’와 ‘매우 동의하지 않음/동의하지 않음’으로 응답한 항목에 대한 총 응답자 수를 의미합니다.)
대다수의 응답자들은 리뷰어가 가진 편향이 피어 리뷰에 대한 신뢰 정도에 영향을 미치며, 피어 리뷰에 관한 글로벌한 기준이 확립된다면 신뢰가 높아질 것이라는 점에 동의하였습니다.
저희는 응답자에게 저널의 피어 리뷰 프로세스에 대한 신뢰를 확립함에 있어 중요도에 따라 7개 요인의 순위를 매겨달라고 요청하였습니다. 응답은 각 요인에 대한 평균 순위를 부여하여 분석하였습니다.
중요한 상위 3개 요인으로는 저널이 게재 철회 기록이 있는지 여부, 리뷰 후 리뷰어의 성명을 공개하는지 여부, 피어 리뷰어에게 보상/보수를 제공하는지 여부였습니다.
마지막으로 저희는 피어 리뷰에 대한 신뢰가 현재 진행 중인 코로나19 상황에 따라 어떻게 영향을 받고 있는지 참여자들에게 물었습니다. 다수인 60%가 이전과 같다고 하였으며 11%는 더 증가하였다고 하였습니다.
주요 시사점
1. 피어 리뷰의 가치: 연구자들이 자신의 원고에 대해 피어 리뷰가 얼마나 가치있는지에 대해서는 약간 의견이 갈릴 수 있지만, 일반적으로 대다수는 피어 리뷰를 학술 커뮤니케이션에서의 품질 점검 프로세스로서 중요하다고 보고 있습니다.
2. 공정성 및 편향: 리뷰어의 편향을 최소화하여 공정성을 높이려는 노력이 중요합니다. 이는 응답자 다수가 피어 리뷰어가 갖는 편향이 피어 리뷰에 대한 신뢰에 영향을 미치며, 신뢰 요인으로 저자 익명성 및 리뷰어 공개가 전반적 리뷰 프로세스의 투명성 및 피어 리뷰어 선정 정책보다 더 중요하다고 응답한 것에서 나타납니다. 이전 조사들에서 일관되게 연구자들이 다른 리뷰 유형보다 이중 블라인드 피어 리뷰 방식을 선호한다고 나타난 바 있습니다. 이는 이중 블라인드 리뷰가 객관성을 더 확보할 수 있다고 보기 때문입니다. 리뷰어 객관성 및 책임을 개선하기 위한 접근법은 특히 제3세계 저자들 사이에서 피어 리뷰에 대한 신뢰를 확보함에 있어 중요합니다.
3. 게재 철회 및 평판: 저자들은 저널이 게재 철회/우려 표명 이력이 있는지 크게 신경쓰는데, 이는 저널의 피어 리뷰 프로세스에 대한 신뢰에 영향을 미치는 요인으로서 상위권을 차지했습니다. 이러한 결과는 (1) 저자들이 게재 철회 또는 우려 표명이 저널의 피어 리뷰 프로세스가 좋지 않다는 점을 반영한다고 생각하거나 (2) 저널이 조치를 취하고 피어 리뷰의 실수를 고치려는 건강한 신호로 생각한다고 해석할 수 있습니다.
4. 글로벌 피어 리뷰 기준: 글로벌 기준을 확립하는 것은 피어 리뷰의 질 뿐만 아니라 이에 대한 신뢰를 높입니다. 피어 리뷰 프로세스는 저널 별로 여러 요인에 의해서 결정되므로 피어 리뷰의 질이 저널에 따라 다를 수 있습니다. 그럼에도 리뷰어 훈련 프로그램 및 예상되는 리뷰 산출물 등 피어 리뷰의 일부에 기준을 적용할 것을 고려해야 할 시점입니다. 피어 리뷰는 학술 논문 출판과 관련하여 전 세계 연구자들이 특히 품질 및 프로세스와 관련하여 바꾸고 싶어하는 3가지 사항 중 하나로 나타났습니다. 기준을 정하는 것은 코로나19 연구 등 긴급하고 영향력 높은 연구에 있어 더욱 중요합니다.
5. 코로나19 및 신뢰: 피어 리뷰 질이 어떻게 유지될 수 있을지 우려가 있고 피어 리뷰에 대한 부담을 단기적으로 파악하기에 쉽지 않지만, 코로나19 관련 부담이 연구자들 사이에서의 피어 리뷰에 대한 신뢰도를 크게 훼손시키지는 않았습니다.
* 이 글은 플랫폼 R Concept에서 제공합니다. 해당 플랫폼은 AI가 수집한 데이터와 인간의 큐레이션을 융합하여 코로나19 관련 주제를 연구하는 연구자들에게 문헌 및 통찰을 제공합니다.
