[ 2017 피어 리뷰 회의 보고서] 과학 기술 문헌의 품질

에디티지의 Corporate Communications Manager인 Hridey Manghwani가 2017 피어 리뷰 회의에 참가하고 있습니다. 회의 2일 차에 작성한 Hridey의 보고서를 공유합니다.

연구보고의 품질에 관한 흥미로운 세션 후, 과학 기술 문헌의 품질에 대한 논의가 이루어졌습니다. 먼저 환자중심결과연구소(PCORI)의 Harold Sox 박사가 연구진과 함께 일련의 비교효과연구(CER)들의 과학적 품질을 평가한 결과를 발표하였습니다. 분석 대상은 환자중심결과연구소가 2013년 첫 펀딩 주기에 지원했던 비교효과연구들이었습니다. PCORI의 방법론적 기준안(2012년에 만들어져 최근에 업데이트 됨)에 대한 준수 여부와 연구의 품질에 연관된 PI 관련 변수를 분석하기 위해 연구 신청서 원본을 이용하였습니다. 피어 리뷰가 완료되고 나면 20개의 보고서가 추가로 나올 예정입니다. 이 연구의 목적은 2019년 7월까지 300개의 연구를 추적 조사하여 방법론적 결점에 대한 대책을 마련하는 것입니다.

다음 발표자는 Matthew J. Page로, 치료적 연구에서 통계적 방법을 이용하여 체계적 문헌고찰(systematic review)을 작성하는 것의 단점에 대해 발표했습니다. 연구진은 32개의 코크란(Cochrane)연구와 78개의 비 코크란 연구에서 사용된 통계적 방법의 해석을 분석하였습니다. 그 결과 임상적으로 정당화 않은 통계적 모델이 사용된 연구가 70%가 넘는 것으로 밝혀졌습니다. 더욱이 통합 결과가 평균 효과로 해석되지 않았으며 예측구간이 보고되지 않은 연구도 많았습니다. 신뢰구간이 중복되는 경우나 깔때기 도표가 비대칭으로 나타난 이유를 설명하지 않은 경우도 많았습니다. 이 연구의 결론은 통계적 분석 방법을 제대로 이용할 필요가 있다는 것입니다. 이 결론을 통해 코크란 핸드북의 지침서가 명확한지, 연구자들이 그 지침을 제대로 이해하고 준수하고 있는지에 대한 많은 의문점이 제시되었습니다. 질의응답 시간에는 국제임상저널(«International Journal of Clinical Practice»)의 편집국장 Leslie Citrome이 본인의 경험을 공유했는데, 원고를 거절할지 피어 리뷰로 보낼지 결정하는 기준은 연구의 설계와 데이터 품질이지만 체계적 문헌고찰에서 사용된 통계적 연구방법에 대한 검토는 피어 리뷰어들에게 전적으로 의지한다고 밝혔습니다. 그는 통계적 방법을 분석할 수 있는 툴이 있다면 저널 편집자로서 일이 훨씬 쉬워질 것 같다고도 말했습니다.

다음 순서로 «Radiology»의 편집위원 Marc Dewey가 «Radiology»와 같은 영상법 저널이 직면한 재현성 문제에 대해 발표했습니다. 그는 2016년과 2017년 동안 «Radiology»에 연구를 제출한 저자들과 리뷰어들을 대상으로 보고 지침과 체크리스트에 대한 설문조사를 시행했습니다. 조사 결과 대부분의 저자가 원고를 작성할 때 이 지침서를 따르는 것으로 밝혀졌고, 80%에 가까운 저자와 50%의 리뷰어들이 이 지침서와 체크리스트가 유용하다고 대답했습니다. 그러나 Marc의 발표 후에 이루어진 논의에서는 임상시험에서 CONSORT나 EQUATOR와 같은 보고 지침에 대한 인지도가 부족하고 많은 저자가 그런 지침을 원고에 인용하지 않는다는 점이 지적되었습니다. 이런 지침들은 과학자들이 연구 설계를 할 때 이용하도록 고안되었으나, 보통 원고 준비 단계에 와서야 참고되고 있는 것으로 나타났습니다.

이어지는 순서로 옥스포드대학출판부 저널 «JNCI» 의 Jeannine Botos가 «JNCI» 논문 저자들 간 표준보고지침 (SRG) 이용 현황 및 편집 결과와 리뷰어 평점과의 관련성을 논의하였습니다. «JNCI»는 제출받은 원고 중 75%를 피어 리뷰 전에 거절하고 있습니다. SRG가 편집 결과나 리뷰어 평점과 연관되어 있지는 않았으나, 지침 준수와 명확한 설명에 대한 리뷰어 평점은 피어 리뷰 이후의 편집 결과와 연관이 있었습니다.

에딘버러대학의 Emily Senna의 발표는 동물 In Vivo 실험 보고에 대한ARRIVE 지침 준수를 개선하는 중재(Intervention)의 효과에 대한 논의였습니다. ARRIVE 지침은 2010년에 출판되어 영국의 모든 주요 지원기관과 1000개가 넘는 저널의 승인을 받았습니다. 하지만 그 저널들이 ARRIVE 지침 준수를 강제하는 것은 아니었습니다. 그러나 이 연구 결과로 원고 제출 시에 ARRIVE 체크리스트 준수 여부를 점검하도록 편집 정책을 개정할 수도 있는 가능성이 열렸습니다.

이 세션에서 이루어진 발표들 모두 임상시험에서 체계적 문헌 고찰의 품질이 떨어지는 연구들을 다루었습니다. 중구난방으로 여러 가지의 지침을 만드는 것은 저자들을 헷갈리게 할 뿐 지침 준수를 개선하지는 않을 것입니다. 그렇다면 “지침”라는 이름은 타당할까, 아예 규정이라 명명하고 원고 제출 단계에서부터 강제적으로 지키게 하는 것이 낫지 않겠냐는 의문이 생깁니다. 지침 준수 여부를 검토할 수 있는 능력이 없는 저널들도 있을 것이고, 이미 과소평가되고 있고 노력에 비해 적절한 보상도 받지 못하고 있는 피어 리뷰어들에게 그 책임을 전가할 수도 없는 일입니다. 해답은 존재할까요? 현재까지의 해결책은 대부분 또 다른 문제를 일으키고 있습니다.

다음은 임상시험등록에 관한 세션이었습니다. 먼저 토론토대학의 An-Wen Chan이 임상시험의 등록과 시험 결과 보고 간의 연관성을 이해하기 위해 프로토콜, 레지스트리, 출판된 논문들을 비교한 연구를 발표하였습니다. 다수의 임상연구가 미등록, 미출판 상태였으며 주요 결과 보고에 있어 모순적이었습니다. 저널 편집자, 입법단체, 지원 기관, 규제 기관 및 윤리위원회 등은 임상시험 등록을 필수화하고 모든 프로토콜을 대중에 개방해야 합니다. 이러한 투명성 제고를 통해 임상시험 결과의 편향된 보고를 억제할 수 있을 것입니다.

다음으로 예일 의과대학의 Constance Zou는 식품 의약품 안전청 개정 법률(FDAAA)이 시험 등록, 결과 보고 및 출판에 미치는 영향력에 대해 발표하였습니다. 그는 연구의 결론에서 FDAAA로 인해 임상시험 결과의 선택적 출판과 보고가 줄었으며, 신경정신질환의 치료에 있어서 의사와 환자가 정보에 입각해 좋은 결정을 내릴 수 있도록 연구증거의 가용성이 제고되었다고 밝혔습니다.

ClinicalTrails.gov의 Rebecca J. Williams는 ClinicalTrials.gov에 올라온 임상시험 결과들을 평가하여 피어 리뷰된 논문들과의 관계를 분석하였습니다. 결론적으로, ClinicalTrials.gov에 등록된 완료/중단된 시험 중 33%~57%가 데이터를 보고하였으나 PubMed 논문에는 전혀 인용된 바가 없다고 합니다. 이를 통해 ClinicalTrials.gov가 많은 임상시험 결과에 대해 독자적인 출처임을 알 수 있습니다. 

2일 차 회의에 대한 감상은 임상시험의 등록 전반에 있어 개선할 점이 많다는 것이었습니다. 바라건대, 투명성과 공공 접근성을 통해 앞으로 과학 문헌의 건전성이 제고되기를 바랍니다.