지표의 물결(metric tide)이 거세지고 있다. (The metric tide is certainly rising.)
James Wilsdon (서섹스 대학교 과학정책연구단위(SPRU) 소속 교수)
과학 연구의 품질과 영향력 측정은 모든 연구개발 관계자들의 관심사였습니다. 연구 평가 방법 중 가장 중요한 두 가지로 피어 리뷰, 그리고 양적 지표(quantitative metrics)를 들 수 있습니다. 숙련된 연구자들이 원고를 평가하는 피어 리뷰는 널리 인정받는 방식으로, 원고의 품질에 큰 가치를 더해 주는 것으로 간주되고 있습니다. 임팩트 팩터 등 출판된 연구에 대한 양적 분석은 지표에 기반해 연구를 평가하는 수단입니다. 따라서, 피어 리뷰가 연구에 대한 질적 평가라면, 지표는 연구 영향력을 양적으로 평가하는 수단입니다. 수 년 간 고등교육과 연구에 쓰이는 공공 비용을 평가해야 한다는 압력이 거세지면서, 평가 지표는 이전보다 훨씬 큰 중요성을 띠게 되었습니다. 지표는 특히 REF (Research Excellence Framework)등 양적 지표가 피어 리뷰와 결합해 연구의 영향력을 평가하는 연구 평가 절차에서 결정적인 역할을 합니다.
지표가 연구의 품질과 영향력 결정에서 담당하는 역할을 검토하기 위해, REF를 추진하는 기관인 영국고등교육펀딩위원회(HEFCE)는 펀딩 기관과 정책 결정자들이 양적 지표를 사용한 차후 연구 평가 방식을 개선하고자 2014년에 위원회를 결성했습니다. 이렇게 만들어진 연구 평가 및 관리 지표의 역할에 대한 독립적 검토 위원회는 2015년 7월 서섹스 대학교 과학정책연구단위(SPRU)의 James Wilsdon 교수가 지도하고 사이언토메트릭스(scientometrics), 연구 펀딩, 연구 정책, 출판, 대학 운영 및 행정 전문가들이 참여한 <The Metric Tide>라는 제목의 보고서를 발표했습니다. 이 보고서에서는 연구 지표가 가진 잠재적 효용 및 한계를 세밀하게 살펴보고, “지표가 피어리뷰를 대체할 수 있는가?” “피어리뷰, 그리고 지표에 기반한 대안 사이에서 균형을 이룰 수 있을까?” 같은 중요한 이슈들을 조명했습니다.
사이언토메트릭 데이터는 지식의 진보를 표시하는 데 도움이 됩니다. 그러나, 저널 임팩트 팩터 및 h-인덱스와 같은 지표들이 비판을 받는 이유는, 지표를 통해 양화될 수 없는 연구의 보다 질적인 측면을 설명할 수 없기 때문입니다. 대체 지표, 온라인 플랫폼 및 도구와 같은 새로운 연구 평가 도구들은 대부분 개발 초기 단계입니다. 이런 이유로, 이 보고서에서는 이 같은 새로운 도구들이 데이터의 수집 및 분석 방식에 대한 심도깊은 이유 없이 단독으로 쓰일 수 없다고 주장합니다. 보고서에 따르면, “최신 지표, 그리고 연구 품질이 깊은 관계를 맺고 있다고 볼 수 있는 근거가 부족하기에 더 많은 실험이 필요합니다.” 그리고, “근거를 제출하거나 그 밖의 방식으로 검토에 참여한 이들의 대다수가 연구 관리에 있어 지표의 역할을 확대시키자는 움직임에 대해 회의적인 태도를 보입니다.”
지표가 피어리뷰를 대체할 수 있는가를 알아보기 위해 이 보고서에서는 다양한 연구 문화 내에서 지표의 응용 가능성을 살펴보고, 피어리뷰와 지표에 기반한 대안을 비교한 뒤, 이 둘 사이에 어떤 균형이 이루어질 수 있을지를 고찰했습니다. 피어리뷰 시스템에도 단점은 있지만, 이는 “우리가 가진 학술 시스템 내에서 최선의 형태이며, 연구논문, 프로포절, 연구자 개인, 그리고 REF등의 국가적 평가에서 1차적 기준으로 존속해야 한다”는 것이 이 보고서의 주장입니다. 보고서 작성에 도움을 준 응답자의 대다수(26개 응답, 이 중 13개는 피어리뷰를 지지하는 학술단체의 응답)가 “지표는 피어리뷰의 대체물로 보아서는 안 된다.” 그리고 “(피어리뷰가) 연구 평가의 황금기준(gold standard)으로서 존속해야 한다”는 의견이었습니다. 또, 지표가 “연구 우수성에 대해 미묘한 차이를 중시하는 판단을 내릴 때”에는 지표가 피어리뷰를 뒷받침할 수 있으리라는 주장 역시 나왔습니다. 즉, 피어 리뷰는 여전히 전공과 무관하게 전문가들이 가장 선호하는 평가 방식입니다.
보고서에서는 2008년 HEFCE가 ‘bibliometrics’ (계량서지학적 지표)의 잠재력을 알아보기 위해 시행한 시험 프로젝트를 통해, 당시 bibliometrics는 피어리뷰를 대체할 만큼의 충분한 강건성을 갖지 못했다는 결과가 나타났음을 밝히고 있습니다. 따라서, 보고서에서는 차후 REF 평가에서도 피어 리뷰를 계량적 지표로 대체해서는 안 된다고 권고했습니다.
<Metric Tide> 보고서에 나타난 핵심적인 아이디어 중 하나는, “지표는 전문가의 평가에 대한 보완은 될 수 있으나 이를 대체하지는 못한다”는 것입니다. 보고서에서는 평가의 맥락과 목적에 따라 특정한 bibliometics 데이터로 피어리뷰를 보완할 수 있는 “informed peer review”라는 개념을 소개하고 있습니다.
이 보고서가 남긴 주요 아이디어는 연구 평가의 미래를 위해서는 보다 빌전된 지표, 그리고 informed peer review의 결합에 기반해 만들어진 더 성숙한 연구 시스템이 필요하다는 것입니다. Wildson 등은 “informed peer review라는 개념을 구체화할 수 있는, 새로운 ‘translational bibliometrics’ 문헌이 이러한 이니셔티브로부터 등장하게 될 것이다.” 보고서를 다음과 같이 결론짓습니다.
<Metric Tide> 보고서의 전체적인 개요를 보시려면, <Metric Tide> 보고서: 연구 평가의 미래를 바꾸는 지표 사용 기사를 참조하세요.
