[Transparency in research and reporting: Expanding the effort through new tools for authors and editors] 이 글은 Wolters-Kluwer가 발간하는 저자 뉴스레터 Author Resource Review를 위해 씌어진 글로, 저자의 허가를 받아 게재합니다. 이 글은 Patricia K. Baskin과 Robert A. Gross가 공동으로 집필했습니다. Dr. Gross는 MD, PhD, FAAN, FAHA, 그리고 <Neurology> 저널의 편집장이며, Strong Epilepsy Center와 University of Rochester Medical Center 소속입니다.
과학의 기본 전제는 연구가 결과의 유효성 및 신뢰성을 보장할 수 있도록 세심하고 객관적이어야 한다는 것입니다. 출판된 논문은 연구가 수행된 방식, 결과를 얻어낸 방식, 그리고 분석적 도구를 적절히 사용해 결론에 도달한 방식을 명확하고 투명하게 기술해야 합니다. 과학의 보도는 진실하며 편향이 없고 연구가 수행된 방식에 대한 정보를 충분히 제공해 타인이 이 연구를 반복하고 향후의 분석에 유용하게 사용할 수 있도록 해야 합니다. 의학 연구의 경우, 정보(특히, 임상 시험의 경우)는 환자의 치료와 의료 정책과 관련된 결정에 영향을 미칩니다. 그러나 개인의 편향, 연구단체간의 펀딩 경쟁, 커리어 발전, 그리고 제약회사의 경우 수익성 등과 같은 요소들이 이러한 개방성과 투명성을 가로막기도 합니다. 이러한 투명성의 결여는 논문의 명확성과 완결성의 부족은 물론 재현연구를 어렵게 하는 데이터, 분석도구, 재료의 불완전한 보고에서 드러나기도 합니다.
과학에서 더 큰 개방성을 추구해야 하는 책임은 비단 연구를 수행한 개인의 몫으로 한정되는 것이 아니라, 연구를 지원한 기관(정부, 재단, 기업 스폰서 등), 연구가 이루어지는 기관, 그리고 연구가 독자들에게 도달하기 전 최종적인 품질 검증을 맡은 저널 편집자 그리고 피어 리뷰어의 몫이기도 합니다. 많은 저널들이 저자들에게 더욱 유용하고 특별한 정보 제공, 임상 시험 등재 요구, 또 의학 연구의 특정 유형에 따른 보고 지침 준수 요구 등을 통해 고품질의 연구를 장려해 왔습니다. 대부분의 저널은 과학적 부정행위나 윤리적인 위반행위에 대해 엄정한 사후대처를 요구하고 있습니다. 그럼에도 불구하고 투명성이 결여되는 경우가 종종 있습니다. 다행히, 과학적 보고의 개방성을 위한 새로운 지침들이 계속해서 개발되고 있습니다.
TOPS 이니셔티브(TOPS Initiative)
2014년 11월, 버클리의 Initiative for Transparency in the Social Science, <Science> 매거진, 그리고 연구투명성을 증진하고 보다 긴밀한 과학적 가치를 지지하기 위한 무료 오픈 서비스를 제공하는 비영리 기술회사 Center for Open Science (COS)의 합동 회의가 열렸고, 그 결과 출판에 필요한 개방성을 다양한 카테고리로 다루는 새로운 가이드라인이 생겨났습니다.1 COS의 주최로 이루어진 Transparency and Openness Promotion(TOP) 위원회에서는 이 같은 가이드라인을 만들어 과학 연구의 투명성, 개방성, 반복가능성, 그리고 그 과정에서 공신력을 증진하고자 하였습니다. 이번에 만들어진 가이드라인은 개별 저널이 가진 사명에 기반하여 다양한 정도의 개방성을 규정하였고 이를 통해 신뢰성, 반복가능성을 증진하기 위함입니다. 연구자, 저널 편집자, 펀딩 기관, 학회 지도자들이 집필한 이번 가이드라인의 서문이 2015년 6월 26일 <Science> 매거진에 실렸습니다. 가이드라인에는 연구 과정에서의 8가지 투명성 기준을 다루고 있고, 각 기준마다 3가지 수준의 투명성이 존재하기에, 각 저널은 해당 저널의 사명에 가장 적절한 수준의 기준을 적용할 수 있습니다.
TOP 가이드라인에 소개된 8가지 투명성 기준은 다음과 같습니다.
(1) 논문이나 데이터를 인용할 때 원작자를 표시하는 인용 기준 항목
(2) 데이터의 유효성 수준을 나타내는 데이터 투명성 항목
(3) 사용된 통계방법과 소프트웨어를 표시하는 분석 방법 항목
(4) 공유 수준을 밝히는 연구 재료 항목
(5) 연구 절차 및 방법론 보고의 완결성에 대한 연구 설계와 분석 보고 항목
(6) 최종 출판 되기 전에도 연구의 가시성을 높일 수 있는 연구의 사전 등록 항목
(7) 이 연구가 가설 검증인지 가설 생성인지를 확인할 수 있는 분석 계획의 사전 등록 항목
(8) 저널 측에서 출판 전 독립적인 반복연구의 요청 여부를 나타내는 반복연구 항목
TOP 위원회는 저널이 원하는 기준과 수준을 직접 선택하기를 권하고 있습니다. 일부 편집자들은 이런 형태의 혁신이 편집자의 입장에서보다는 연구 커뮤니티로부터 시작되어야 한다고 보는 입장인데, 편집자들이 규정 준수를 쉽게 강제할 수 없기 때문입니다. 그러나, 이러한 기준의 채택은 출판사 측이 연구자와 소통할 때 가이드라인의 준수를 기대하게끔 하는 새로운 도구를 제공하기 위한 유의미한 노력이 될 것입니다. 수많은 저널들이 보여준 이 가이드라인에 대한 지지는 COS 웹사이트에서 보실 수 있습니다.
The EQUATOR Network
EQUATOR (Enhancing the QUAlity and Transparency Of Health Research) Network는 모범적인 의학 연구보고를 정의하고자 하는 과학자, 편집자, 연구기관들을 위한 다양한 자료를 싣고 있습니다.
EQUATOR(www.equator-network.org)는 2008년 시작된 국제 이니셔티브로, 현재 276개 가이드라인을 운영하는 동시에 더 많은 가이드라인을 개발 중입니다. EQUATOR의 목표는 “투명하고 정확한 보고 및 확고한 가이드라인의 폭넓은 이용을 증진시켜 출판된 의료 연구 문헌의 신뢰성과 가치를 향상시키는 것” 입니다. EQUATOR는 과학 보고를 위한 설계 중심적 가이드라인을 개발했으며, 편집자, 저자, 교육자를 위한 리소스를 제공합니다. 지난 해, EQUATOR는 모범적인 연구 관행 채택을 지원하는 활동을 더욱 확대하고자 3개의 센터(영국, 프랑스, 캐나다)를 설치했습니다.
EQUATOR 가이드라인 개발자들의 가장 큰 우려를 불러일으킨 사례들은 부정적인 연구를 보고하지 않는 것, 연구결과를 선택적으로 보고하는 것, 연구 방법과 개입을 기술할 때 정보를 누락하는 것, 부작용을 충분히 보고하지 않는 것, 오해를 불러일으킬 수 있는 결과 및 데이터의 제시로, 모두 의학 문헌에서는 “조작”으로 이어질 수 있는 행위였습니다. 2,3 보고 가이드라인의 목적은 저자, 편집자, 교육자들을 대상으로 개별적인 조언과 교육 도구를 제공하여 이런 단점을 완화시키는 것입니다. 주요 연구 유형들을 위한 보고 가이드라인 중에는 표준 시험과 다른 시험 설계, 위험 보고 등에 대한 세부적인 기준이 포함된 CONSORT 가이드라인(무작위 임상 시험에 사용, 체크리스트 및 예정된 시험 등록이 필요), STROBE 가이드라인(관찰연구용), PRISMA (체계적 문헌검토용), STARD(진단/예후 연구), CARE(사례보고) 등이 있습니다.
EQUATOR Network에서는 가이드라인 개발자를 위한 정보와 자료를 제공하는 것 외에도 저자, 편집자, 교육자를 위한 도구들 역시 제공하고 있습니다. 예를 들면 UK NIHR Clinical Trials Toolkit은 인터랙티브 로드맵을 통해 연구자에게 영국 내 공공 지원을 받는 임상 시험 설계에 대한 실제적인 조언을 제공합니다. 그 외의 도구들 역시 실험 설계, 예산 편성, 인체조직에 관련된 법적 요건, 체계적 문헌검토 등에 대한 조언 및 과학 논문 집필, 데이터 공유, 윤리지침에 대한 안내를 담고 있습니다. 편집자를 위해서는 (가장 적절한 보고 가이드라인을 사용해) 저널의 연구 보고 정책 개발, 피어 리뷰 진행 등에 대해 도움을 줄 수 있는 도구가 제공됩니다. Teacher Tooklit은 연구자들을 훈련시키는 트레이너에게 좋은 연구보고 방법, 잘못된 연구보고가 줄 수 있는 악영향 등에 대한 정보를 담고 있습니다.
저자의 투명성(Author Transparency)
연구, 또는 연구 출판의 투명성에 대한 글에서 저자권에 적용되는 투명성에 대한 논의가 빠질 수는 없을 것입니다. 저자의 신뢰성에 영향을 미치는 요인은 많습니다. 누구나 편향이 있고, 임상 실험의 대다수가 제약회사의 후원을 받고 있으며, 다른 연구들은 정부나 재단의 지원을 받고, 저자들 역시 지원금을 갱신하거나 교수직을 확보하고 싶어합니다. 논문을 쓸 때 누가 무엇을 했는가가 분명히 드러나지 않는 경우가 종종 있습니다. 누가 논문을 썼는가? 누가 실제로 연구를 수행했는가? 누가 재료를 제공했으며, 또 통계 분석을 실행했는가? 연구에 지적으로 기여했으나 이름을 올리지 않은 사람(“유령 저자”)은 누구이며, 반대로, 학과장 등 저자와의 관계 때문에 예우 차원에서 이름을 올린 “객원 저자”는 누구인가? 연구비는 누가 지원했는가? 독자들이 연구, 또는 연구 보고에 편향이 존재하고 있는지 여부를 스스로 결정할 수 있도록, 위의 모든 정보는 독자들에게 공개되어야 합니다. 그렇기에 저널이 지정한 기준에 따라 저자들이 분류되는 것, 그리고 저널 측에서는 모든 저자의 기여 사항과 정보를 완전히 공개하는 것이 중요합니다. 이 부분에서 중요한 차이를 짚고 넘어가는 것이 좋겠습니다. 정보 공개는 즉시 측정할 수 있는 이해관계의 충돌(주로 금전적 이해관계)을 파악하는 데는 도움이 되지만, 저자, 리뷰어, 편집자가 가지는 편향을 충분히 측정하기는 어렵습니다. 이해관계 공개는 편향을 측정할 수 있는 대체적인 척도에 불과합니다.4,5
International Committee of Medical Journal Editors 에서 널리 사용되는 저자권 기준을 확립했음에도 불구하고, 모든 저자가 4가지 기준을 충족해야 하기에 저자 집단이 이 기준을 따르는 것은 현실적으로 어렵습니다. 오늘날의 협력연구가 국가의 장벽을 넘어 이루어지고 있고, 대형 프로젝트에 참여하는 인원들은 각자 전공 분야가 다른 경우도 많기 때문입니다. International Committee of Medical Journal Editors 의 기준은 (1) 연구의 구상이나 설계, 또는 연구에 사용된 데이터의 획득, 분석, 해석에 본질적인 기여를 해야 하고, (2) 논문 초안을 작성하거나 이에 유의미한 지적 내용을 부여해 비판적으로 수정했으며, (3) 출판 전 버전의 최종 승인을 했으며, (4) 연구의 모든 부분에 대한 정확성 또는 순수성에 관련된 문제제기 시 적절한 검토와 해결에 있어 공적인 책임을 져야 한다는 것입니다.6 그러나 이런 기준을 따르기에는 연구에 많은 기여를 했으나 모든 기준을 충족하지 못한 (예를 들면, 실험을 설계하거나 분석을 수행했으나 논문 집필에는 참여하지 않은) “객원 저자”의 이름을 누락하기가 어렵고, 또 논문 초안을 잡거나 집필을 했으나 다른 기존을 충족시키지 못한 “유령 저자”의 여지가 남습니다. <Neurology> 저널에서 우리는 객원 저자, 유령 저자를 방지하고 의학 논문 집필의 전문성을 높일 수 있도록 기준을 수정했습니다. <Neurology> 저널에서 저자의 기준은 (1) 연구의 구상, 설계 또는 (3) 데이터 분석, 해석에 참여했거나, (3) 논문의 지적 내용의 초안을 작성하거나 이를 집필한 사람입니다.7-12 즉 제약회사 또는 기타 학술, 정부, 상업 단체에 고용되어 논문의 지적 내용에 대한 초안을 작성하거나 논문을 집필하는 전문 필자들이 저자로서 이름을 올려야 하는 것입니다. 투명성을 최대화하기 위해 모든 저자들은 자신의 기여도를 기록하고, 모든 기여 사항이 출판됩니다.
저자의 기여사항(Author Contributions)
또 다른 단체인 Project CRediT 역시 생의학, 생명과학 분야의 연구자들이 자신이 참여한 협력 연구를 분류할 수 있는 디지털 분류체계를 개발하고 있습니다.13 다수가 참여한 협력연구의 경우 연구와 논문 집필 과정에서 누가 무엇을 했는지를 파악하기가 어렵기 때문에 연구기여자의 모든 역할을 담은 연구기여자 역할 분류체계가 있으면 저자들이 처음부터 자신의 기여 내용을 보다 쉽고 정확하게 기록할 수 있습니다. 이 노력을 위해 계획된 실험 중 하나는 연구 기여활동의 디지털 분류체계를 연구 관리 시스템에 통합해 연구를 수행할 때 영향을 주도록 하는 것입니다. Project CRediT은 분류체계의 향후 개발을 위해 National Information Standards Organization 등의 단체와 협력하고 있습니다.
제약업계
제약업계 역시 각 회사의 연구소에서 출판한 논문의 투명성과 신뢰성을 증진시키기 위한 노력을 하고 있습니다. Medical Publishing Insights and Practices Initiative란 기업의 후원으로 출판된 연구의 신뢰성, 투명성, 순수성을 높이기 위한 제약회사들의 협력 단체입니다. 이 단체는 저널 편집자, 임상 시험자, 학계의 협력자, 그리고 업계 대표들과 함께 5단계 저자 프레임워크를 개발해 보다 업계 출판물의 저자들에게 유망하고 지속적이며 투명한 프로세스 부여합니다.14 이 5단계는 시험 초기의 저자권 확립, “본질적” 기여의 기준 결정, 시험에 대해 이루어진 기여사항 기록, 본질적 기여자 결정, 그리고 저자들이 저널이 요구하는 저자권 기준을 충족했는가에 대한 확인으로 이루어져 있습니다. 이러한 규칙은 학술 센터에서 일하는 단체에게도 도움이 될 것입니다.
이해관계에 대한 데이터베이스(Conflict of Interest Database)
연구논문의 투명성을 극대화하기 위해 모든 저자는 이해관계 충돌의 가능성을 철저히 공개해야 하며, 이 공개사항은 논문과 함께 출판되어야 합니다. 곧 독자들은 전세계적으로 이용할 수 있는 온라인 정보공개 프로그램의 개발에 대한 소식을 듣게 될 것입니다. 필라델피아에서 2015년 5월 18일 열린 Council of Science Editors 회의에서 새로운 중앙집중형 데이터베이스 시스템인 Convey의 프로토타입이 공개되었습니다. Institute of Medicine의 추천을 통해, American Association of Medical College가 개발한 Convey는 기관의 기준 및 사용자 평가에 기반해 사용자 및 구독 기관 모두 쉽게 이용할 수 있는 중앙집중형 정보 공개 시스템입니다.
지금까지 이야기한 모든 노력들은 연구가 가진 투명성과 유효성을 증진시킬 수 있기에 연구자들의 각광을 받게 될 것입니다. 투명성에 대한 기대, 그리고 보도의 엄격함을 통해 더 나은 연구 설계를 이루어내고 독자에게 더 큰 신뢰성을 줄 수 있기를 바랍니다. 편집자들은 언제나 패러다임을 변화시킬 만큼 혁신적인 동시에 동료들이 반복 연구를 위해 보강할 수 있는 연구를 담은 잘 씌어진 논문을 찾고 있습니다.
REFERENCES
1. Nosek BA, Alter G, Banks GC, et al.. Promoting an open research culture. Science 2015; 348(6242): 1422-1425.
2. Simera I, Moher D, Hirst A, Hoey J, Schulz KF, Altman DG. Transparent and accurate reporting increases reliability, utility, and impact of our research: reporting guidelines and the EQUATOR network. BMC Med 2010; 8:24.
3. Gross RA. Style, spin, and science. Neurology 2015; 85:10–11.
4. Schwid SR, Gross RA. Bias, not conflict of interest, is the enemy. Neurology 2005; 64:1830-1831.
5. Knopman DS, Baskin PK, Pieper KM, Quimby SL, Gross RA. Reporting potential bias: Neurology’s evolving policies. Neurology 2011;76:110-112.
6. International Committee of Medical Journal Editors. Defining the role of authors and contributors. 2014. www.icmje.org/recommendations/browse/roles-and-responsibilities/defining-the-role-of-authors-and-contributors.html
7. Neurology. Information for authors. 2014.
www.neurology.org/site/misc/auth2.xhtml.
8. Baskin PK, Gross RA. Of faces seen, unseen, and behind the scenes. Neurology 2012; 80:1-3.
9. Baskin PK, Gross RA. Honorary and ghost authorship. BMJ 2011; 343:d6223.
10. Baskin PK, Gross RA. Ghosts in the machine: Better definition of author may stem bias. The Conversation 2012. https://theconversation.com/ghosts-in-the-machine-better-definition-may-stem-bias.
11. Baskin PK, Gross RA. Publishing rigor: an extension of scientific rigor: minding the business of scientific reporting. Neurology 2014; 83:2-3.
12. Baskin PK. Authorship and contributorship: who did what? Science Editor 2014; 37:39,45.
13. Allen L, Brand A, Scott J, Altman M, Hlava M. Publishing: credit where credit is due. Top Picks from Nature News 2014. www. nature.com/news/publishing-credit-where-credit-is-due-1.15033.
14. Marusic A, Kren D, Mansi B, et al. Five-step authorship framework to improve transparency in disclosing contributors to industry-sponsored clinical trial publications. BMC Med 2014; 12:197.
