[이 글은 Wolters Kluwer에서 발행한 기사를 허가를 받아 재수록한 것입니다. 이 글은 ≪Academic Medicine≫의 편집자인 Elizabeth S. Karlin, 선임 편집자인 Jennifer Campi, 편집 간사인 Mary Beth DeVilbiss에 의해 작성되었습니다.]
피어 리뷰(Peer review)란 연구 주제나 때로 적용된 방법론에 대해 전문 지식이 있는 학자(동료)가 연구를 평가하는 (또는 심사하는) 것을 말합니다. 이 글의 초점이 되기도 하는 피어 리뷰의 목적은 출판된 문헌의 가능한 최고 수준을 보장하도록 돕는 것입니다. 리뷰어는 연구가 질적으로 보급될 만한 가치가 있는지 판단하는 일종의 배심원과 같은 임무를 수행합니다.
지난 수 세기 동안 피어 리뷰 과정은 비교적 변함없이 유지되었습니다. 연구자들은 자신이 수행한 연구나 조사에 대한 보고서, 즉 원고를 준비하고 준비한 저널을 적합한 저널에 보냅니다. 원고는 통상 저널 내부에서 검토가 이루어지며 의사 결정자인 에디터는 (편집위원장 또는 편집위원) 원고를 심사 전에 거절할 것인지 또는 피어 리뷰어에게 보낼 것인지 결정합니다. 의사 결정자인 에디터, 편집위원회 구성원, 그리고 심지어 원고의 저자도 리뷰어를 추천할 수 있습니다. 평균적으로 두세 명 정도의 리뷰어가 전문가 풀에서 선발되며 선발된 리뷰어도 논문을 쓰는 저자인 경우가 많습니다.
이 과정의 다음 단계인 ‘동료에 의한 심사’는 학문의 필수 요소입니다. 에디터들이 항상 리뷰어의 추천에 동의하거나 따를 필요가 있는 것은 (그리고 따르고 있는 것은) 아니지만, 에디터들은 원고에 대한 정보를 얻는 핵심 원천인 리뷰어에게 의존하고 있습니다. 에디터와 독자, 다른 학자, 그리고 과학의 진보로 인해 혜택을 받는 사람들, 즉 우리는 모두 연구에 대한 통찰력을 제공하고, 강점과 약점을 짚어내고, 중요한 결함을 찾아내고, 새로운 발견을 밝혀낼 피어 리뷰어를 필요로 합니다.
피어 리뷰어가 답해줄 수 있는 가장 중요한 질문들은 아래와 같습니다.
● 원고가 기존 문헌에서 진보되었는가? (중요한 주제인가? 이것이 문제에 대한 우리의 시각을 바꿀 것인가? 연구가 이 분야에 이바지하는 바가 있는가?)
● 설계나 (방법론) 주장에 (논리) 치명적 결함이 있지 않은가?
● 저자가 이 원고를 개선할 방법은 무엇인가?
위의 질문들에 답하기 위해 피어 리뷰어는 보고서의 서론과 참고문헌 목록, 방법론, 결과나 결과물, 그리고 논의 및 결론을 검토해야 합니다. 다음은 이러한 각 부분에서 생각해 볼 몇 가지 질문과 제안입니다. 이어서 리뷰어에게 도움이 되는 다른 자료들에 관해서도 설명하도록 하겠습니다.
서론과 참고문헌: 저자는 독자가 주제의 본질과 문맥, 이 보고서의 필요성을 이해할 수 있도록 문헌에 기초한 충분한 배경 정보를 제공하고 있는가? 저자가 인용한 문헌에는 포괄적으로 최근 논문들과 기반이 되는 연구들이 모두 포함되어 있는가? 다양한 관점을 제시하는 문헌이 균형 있게 인용되었는가? 저자는 목적과 질문, 그리고/또는 가설을 명백히 기술하고 있는가?
방법론: 사용된 방법은 저자가 연구하고자 하는 문제나 질문에 적합한가? 저자는 미래에 다른 연구자가 이 연구를 재현할 수 있도록 충분한 상세 정보를 제공하였는가? 연구 설정이 분명히 되어 있는가? 연구가 언제 어디서 수행되었는가? 연구 대상 혹은 참가자는 누구인가? 저자는 (특히 연구 대상이 인간이나 동물인 경우) 모든 필요한 윤리적 승인을 얻었는가? 저자는 연구 도구와 분석법에 관해 설명하였는가? 저자는 문제의 모든 측면을 고려하였는가?
결과: 결과가 방법론을 반영하고 있는가? 저자가 모든 연구 도구와 분석법의 결과물들을 보고하였는가? 저자는 통계적으로 그리고 임상적으로 결과가 가진 중요성을 입증하였는가?
논의 및 결론: 저자는 자신의 결과물이 다른 설정에서 다른 연구 대상에 일반화될 수 있는지 고려하였는가? 저자는 자신의 결과물이 함축하고 있는 바를 모두 고려하였는가? 저자는 자신의 결과물이 과학에 어떠한 영향을 미칠 것인지 제시하였는가? 저자는 미래의 연구 방향이나 미래 연구에서 던질 질문들을 고려하였는가? 저자는 가능한 한계점과 그러한 한계점이 결론에 미치는 영향에 대해 논의하였는가?
앞의 단락에 제시된 질문들은 리뷰어가 리뷰를 진행하는 데 지침이 될 수 있을 것입니다. 아래는 도움을 더 줄 수 있는 몇 가지 추가 자료들입니다.
Review Criteria for Research Manuscripts (2판) (www.aamc.org/reviewcriteria): 리뷰어를 위한 종합적인 안내서인 이 책은 전체 심사 과정의 개요를 정리하고 제목과 저자명 표기(byline), 초록과 서론, 그리고 결론과 참고문헌에 이르기까지 리뷰어가 평가해야 할 각 항목을 체계적으로 검토하고 있습니다. 이 책은 리뷰 경험이 많은 학자들과 리뷰어들이 공동 집필하였으며 ≪Academic Medicine≫의 두 편집위원이 편집을 맡았습니다. 이 책에는 리뷰어에게 유용한 체크리스트와 함께 질적 연구, 체계적 문헌고찰, 혁신 서술과 같은 새로운 형태의 원고들에 대한 논의가 포함되어 있으며 리뷰어 에티켓 또한 다루어져 있습니다. 초보 리뷰어는 물론 숙련된 리뷰어도 이 설명서를 유용하게 활용할 수 있을 것입니다. 어려운 원고와 씨름 중인 리뷰어들, 가능한 최고 수준의 원고를 준비하고자 하는 저자들, 그리고 연구를 어떻게 수행하고 평가하고 적용하고 전파하고 논의하는지 배우고 있는 연수생들 (그리고 그들의 멘토들)은 이 책에서 도움을 얻을 수 있을 것입니다.
What Editors Want: An Overview for Reviewers (https://vimeo.com/academicmedicine): 이 프레젠테이션은 리뷰어가 쉽게 떠올리는 일반적인 의문, ‘에디터가 원하는 것이 무엇일까’에 대한 답을 제시하고 있습니다. ≪Academic Medicine≫의 에디터들과 직원들이 만든 이 간략한 영상 프레젠테이션에는 리뷰어로서의 에티켓, 리뷰 양식, 리뷰 내용이 설명되어 있으며, 이 프레젠테이션은 저널의 심사자 자료에서 확장된 컬렉션의 일환입니다. 심사자 자료는 ≪Academic Medicine≫ 웹사이트 ‘For Reviewers’ 페이지에서 찾을 수 있으며 (http://journals.lww.com/academicmedicine/Pages/ForReviewers.aspx) 여기에서 리뷰어 권고(recommendations)에 대한 안내서도 다운로드 받을 수 있습니다. 추가 영상 프레젠테이션과 실제 리뷰 연습은 현재 개발이 진행 중입니다.
리뷰어 워크숍
역동적인 쌍방향 워크숍이 진행되는 동안 ≪Academic Medicine≫의 에디터들과 직원들은 피어 리뷰에 대한 기본 정보를 발표하며 그 뒤에는 참석자들이 진행을 이끌어 갑니다. 워크숍 참가자들은 작은 그룹을 만들어 ≪Academic Medicine≫에 실제 투고된 원고를 심사하며, 마지막으로 발표자와 참석자들은 원고와 원고를 심사하는 과정, 그리고 이 과정을 통해 알게 된 점들에 관해 토론을 진행합니다. acadmed_online@aamc.org 주소를 통해 저널에 연락하시면 다음 워크숍 및 행사 정보를 얻으실 수 있습니다.
≪Academic Medicine≫의 블로그 AM Rounds의 ‘Reviewer Resources’ 시리즈
피어 리뷰에 대해 배우고 또 그것을 발전시키기 위한 가장 좋은 방법의 하나는 아마도 피어 리뷰어 당사자들이 하는 말을 들어보는 것일 것입니다. ≪Academic Medicine≫의 우수 리뷰어 상을 받은 리뷰어들은 11개의 블로그 글로 구성된 이 시리즈를 통해 (http://academicmedicineblog.org/category/peer-reviewer-resources) 수준 높은 피어 리뷰를 수행하고 리뷰 보고서를 작성하는 팁, 피어 리뷰의 목적과 피어 리뷰를 통해 얻는 이득에 대한 생각, 그리고 리뷰 과정에 대한 애착을 공유하고 있습니다.
마지막으로 독자 여러분들이 피어 리뷰를 즐기고 피어 리뷰가 저자와 리뷰어에게 주는 혜택을 누리는 것에서 이 이야기가 마무리되었으면 합니다. 리뷰 활동 인정 문서나 이력서에 추가할 수 있는 이력, 때때로 금전적 보상과 같은 리뷰의 실용적 혜택에 덧붙여 학자들은 서로의 연구를 지속해서 리뷰하는 또 다른 이유에 주목합니다. 수준 높은 리뷰를 위해 쏟아야 하는 시간과 노력에도 불구하고 학자들은 리뷰를 통해 그들 분야의 새로운 발견들을 배울 기회를 얻기 때문에 원고를 평가합니다. 리뷰어들은 학문적 과정에 참여하고 있고, 그들이 받은 도움을 사회에 환원하고 있으며, 또 우리 모두의 혜택을 위해 과학을 진보시키고 있습니다.
