지표(Metrics)와 순위(ranking)는 학술 커뮤니케이션에서 중요한 역할을 합니다. 전체적인 수준에서 보면, 지표와 순위는 우리가 산출하는 연구의 빅데이터(big data)이며, 우리가 연구의 동향과 패턴을 이해하고 현명한 의사결정을 하기 위해 이 데이터를 이용할 필요성과 역량을 반영합니다. 보다 구체적으로 들어가면, 지표는 연구의 잠재 영향력을 검토하고, 이를 통해 연구자들의 성공 수준을 표시하게 됩니다. 또 지표는 출판된 연구의 분석 틀을 제공하고, 혁신적인 연구를 전파하는 저널들을 알아볼 수 있는 틀을 제공합니다.
그러나 지난 수 년간 연구 평가 지표, 특히 인용 지표를 과도하게 또 때로 여과 없이 적용해온 결과 여러 가지 문제가 발생했습니다. 예를 들면 저널 임팩트 팩터는 많은 사람에게 저널의 명성에 대한 가장 믿을 만한 척도인 것으로 간주되고 있습니다. 특히 저널 임팩트 팩터는 연구비 지원에서 주요한 역할을 하며, 상당 수의 기관은 연구자들의 출판 실적의 성공여부를 판가름하기 위해 저널 임팩트 팩터를 이용하기도 합니다. 그 결과, 연구자와 저널은 게임에서 승리하기 위해 많은 부담을 지게 되고, 이를 위해 데이터 조작 같은 비윤리적 행위를 저지르기도 했습니다. 또 한 가지 최근 일어난 극단적인 예로, Imperial College London에 재직 중이던 Stefan Grimm 교수 사망 사건을 들 수 있습니다. 소속대학의 연구 평가 지표에 반발하는 압박 앞에서 무력함을 느낀 교수가 죽음을 선택한 사건입니다. 이제 우리는 연구, 학술 실적을 평가하는 지표에 있어 개선의 여지가 크다는 사실을 알게 되었습니다.
HEFCE(영국고등교육펀딩위원회)가 연구 평가 및 관리 지표의 역할에 대한 독립적 검토를 수행하기로 한 것은 바로 이 때문입니다. 이번 검토 위원회의 의장은 서섹스 대학교 SPRU(과학정책연구단위) 소속의 James Wilsdon 교수가 맡았으며, 사이언토메트릭스(scientometric), 연구비 펀딩, 연구 정책, 출판, 대학 행정의 전문가들이 함께 힘을 보태고 있습니다. 이 위원회는 영국에서 사용되는 영향력 측정 척도 및 지표의 현 상황, 잠재적 효용과 한계를 알아보기 위해 출범했습니다. 또, 영국 내 다양한 학술기관 및 각 전공에서 이러한 지표들이 어떻게 사용되고 있는지도 살펴보았습니다. 그 결과는 <The Metric Tide>라는 제목의 보고서로 발표되었고, 아래는 보고서의 주요 내용입니다.
더욱 커지고 있는 지표의 중요성
최근 몇 년 간 등장한 몇 가지 요소 때문에 연구에 있어 수치나 순위 같은 부적합한 요소들에 중점을 두는 경향이 생겨났습니다. 고등교육과 연구에 사용하는 공공자금의 책임에 초점을 맞추는 경향, 연구의 품질 및 영향력을 측정하고자 하는 정책결정자들의 요구, 학술기관 측이 받는 연구의 관리 전략에 대한 압박, 기관/저널/연구자들이 받는 순위 게임에서 선두를 차지해야 한다는 압박, 그리고 측정 지표에 대한 정보, 그리고 이 정보를 분석하는 도구를 보다 쉽게 이용할 수 있게 되었다는 변화입니다.
지표에 대한 보편적 접근의 부재
연구 커뮤니티가 지표를 정의하고, 기술하고, 계산하고, 이용하는 데 있어서는 다양한 접근법이 사용되고 있습니다. 한편으로 양적 지표(quantitative indicator), 대체 지표(alternative metrics) 역시 연구의 투명성과 책임을 늘리는 데 도움이 됩니다. 그러나 “저널 임팩트 팩터(JIFs)와 같은 협소하며 잘못 설계된 지표는 부정적인 경향을 낳을 수 있습니다.(narrow, poorly-designed indicators – such as journal impact factors (JIFs) – can have negative consequences)” (보고서 9페이지) 양적 지표의 무분별한 사용에 대해 회의적인 입장을 가지는 사람들이 상당히 많으며, 지표를 보다 잘 구조화된 방식으로 설계하고 적용할 필요성이 제기되고 있습니다.
연구 커뮤니티는 여전히 피어 리뷰를 선호
피어리뷰 시스템은 연구 평가의 원형이라고 할 수 있습니다. 여러 가지 단점이 있는 것은 사실이지만 피어리뷰는 여전히 학술 연구를 관리하는 방식으로 선호되고 있습니다. 잘 설계된 양적 지표를 피어리뷰와 결합하여 사용하면, 전면적 평가를 제공할 수 있는 피어리뷰의 보조 수단으로 유용하게 사용될 수 있을 것입니다.
지표의 창안과 적용에 투명성 부족
양적 지표를 지나치게 강조하면 지표 자체가 무용해질 수 있으며, 이러한 문제점을 인식하고 해결할 필요가 있습니다.
지표를 관리하는 데이터 인프라의 강건성 필요
데이터의 수집과 분석을 관리할 수 있는 더 정확한 시스템이 필요합니다. 현재 지표를 계산하고 적용하기 위한 노력은 행정적으로 과중한 부담을 지우기 때문에 효율적이지 못합니다. 믿을 만한 평가 지표를 사용할 수 있는 경우에는 피어 리뷰 비용을 줄일 필요가 있으나, 이는 전공별로 다를 수 있습니다.
연구에 대한 연구의 필요성
연구 커뮤니티는 과학정책에 관련된 질문 등 보다 큰 질문에 집중할 필요가 있습니다. (예: “왜 우리는 이 연구에 펀딩을 하는 것일까?”) 사이언토메트릭스 커뮤니티에서 신뢰성과 유연성이 높은 양적 지표를 제공해 도움을 줄 수 있을 것입니다.
책임 지표(responsible metric)의 도입
이 보고서는 책임 있는 연구와 혁신 (RRI)에 기반해 “연구의 운영, 관리, 측정에 있어 양적 지표의 적절한 사용에 대한 체계를 만들어낼 수 있는 수단인 책임 지표(responsible metric)” 라는 개념을 제시하고 있습니다. 책임 지표의 주요 특징은 다음과 같습니다.
▶ 강건성: 정확한 데이터와 폭넓은 범위에 기반해야 한다
▶겸양: 양적 측정은 질적 평가를 보조할 수는 있으나 이를 완전히 대체하는 것은 불가능함을 인지해야 한다.
▶투명성: 데이터 수집과 분석의 과정은 개방적이며 투명해야 하며, 이를 통해 시험 및 결과 검증이 가능해야 한다.
▶다양성: 책임 있는 지표는 전공별 차이를 반영할 수 있어야 하며 “시스템 전반에 존재하는 연구 및 연구자 커리어의 다양성”을 파악할 수 있는 다양한 양적 지표를 사용해야 한다.
▶번영성: 지표는 잠재적 영향력에 대한 시험을 거친 뒤 업데이트할 수 있다.
책임 지표라는 개념에 내재된 철학은, 이 지표를 통해 유연하고 보다 포괄적이며 반영적인, 그리고 실제 정보에 더 가까운 양적 지표를 고안하는 것이 가능해야 한다는 것입니다.
다양한 지표의 범람을 억제하기 위한 권고사항
이 보고서는 책임 지표라는 개념에 기반해 영국 내 연구 커뮤니티에서 지도, 펀딩, 운영, 관리, 행정, 데이터 인프라, 연구 정보 관리, 정보 출처 등에 관여하는 관계자들을 위한 20가지 권고사항을 제시하고 있습니다. 그 중에는 영국의 연구 환경에 특정된 사항들도 있지만, 전 세계의 연구 관리에 일반적으로 적용할 수 있는 사항도 있습니다.
▶ 연구 커뮤니티는 양적 지표가 연구 평가에서 수행하는 역할에 대한 의견을 재고해야 한다.
▶ 연구 관리와 측정의 원칙을 정의하고 기관 차원으로 끌어올려야 한다. 이러한 원칙은 책임 지표의 사용과 마찬가지로 연구 관리자, 행정 담당자들이 전파해야 한다.
▶ 승진 및 임용에서 측정 지표의 역할이 보다 명확성을 띠어야 한다.
▶ 연구자들은 CV의 가치를 높이기 위한 양적 지표 사용에 있어 보다 세밀한 고려를 해야 한다.
▶ 펀딩 기관에서는 연구 평가에 있어 무분별하게 지표를 적용하는 것이 아니라 고유한 원칙을 세워 사용해야 한다.
▶ 데이터 수집 및 분석에 있어 투명성 증진을 위해, 학술계의 모든 구성원들이 개방적이고 신뢰성 높은 연구 관리를 위한 원칙을 개발하고 이를 적용해야 한다.
▶ 고유식별번호의 사용을 장려해야 한다. (예: 영국 내 ORCID 사용 의무화)
▶ 출판사는 원활한 연구 관리를 위해 고유 ID및 ISSN을 의무적으로 사용해야 한다. 연구 기관 역시 고유식별번호를 사용해야 한다.
▶ 연구 정보 인프라에 대한 투자를 증진해야 한다. 펀딩 기관 역시 “과학정책의 과학”에 더 많이 투자해야 한다.
▶ 전체적으로, 연구 데이터 관리 인프라를 개선하고 효율성을 증진할 필요가 있다.
15개월에 걸쳐 이루어진 이 프로젝트는, 연구 평가 지표에 대한 메타분석을 제공하는 동시에 영국의 고등교육기관 사용하는 연구 품질과 영향력 측정도구인 REF (Research Excellence Framework) 등 연구 평가 프로세스가 향후의 평가 주기를 계획할 수 있도록 하고자 하는 아이디어에서 출발했습니다. 그러나 Wilsdon 등의 보고서에 제시된 관찰과 권고사항은 전세계 연구기관, 펀딩기관, 저널, 연구자들에게도 마찬가지로 적용할 수 있을 것입니다. 이 보고서에는 하나의 통일된 접근법을 모든 경우에 적용할 수는 없으며, 대신 “연구의 품질을 한 가지로 정의하거나 측정하려는 노력보다는 연구의 다양한 특성(qualities)에 대해 생각하는 것이 바람직하다”고 제안합니다. 나아가, 책임 지표가 근본적인 수준에서 보다 유연하고 저항성과 반응성이 높아 과학적 발전의 역동성을 반영하는 연구 평가 시스템을 위한 기틀을 닦을 수 있다는 점은 분명합니다. 이러한 철학이 오늘날의 지표의 범람에 있어 새로운 방향을 제시하고 보다 신뢰성 높은 연구 평가를 가능케 할지는 앞으로 잘 지켜보아야 하겠습니다.
Sources:
- Wilsdon, J., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. DOI: 10.13140/RG.2.1.4929.1363
- Image designed by freepik.com
Related reading:
- Can metrics replace peer review in indicating the quality & impact of research?
- Can new measures of research impact replace the impact factor?
- The number game: 7 Global trends in impact factor and other citation metrics
