연구가 과학 외부에 미치는 영향력은 얼마나 될까요? 과학의 영향력을 양적으로 측정할 수 있을까요? 이런 본질적인 질문들은, 과학 연구가 처음 생겨났을 때부터 과학자들의 과제였습니다. 과학의 세계화가 이루어진 다음에, 과학에 대한 투자가 얼마만큼, 또 어떤 종류의 영향력을 창출하는지를 평가해야 한다는 요구가 커졌습니다. 그 결과, 많은 국가의 펀딩 기관에서 연구의 품질, 그리고 사회에 미치는 영향을 평가하게 되었습니다. 이러한 분석의 한 예가 영국 고등교육 펀딩 위원회의 최신 연구 통계 과제 “연구 우수성 프레임워크(REF; Research Excellence Framework)” 입니다.
REF는 영국의 고등교육기관에서 수행한 연구의 영향력을 측정하고 펀딩 기관들이 6년간 대학교에 연구비 펀딩을 할당하는 결정을 돕고 있습니다. PEF 평가단 (학계 및 업계 전문가들로 구성) 들은 대학 측에서 제출한 샘플 연구에 기반해 수행된 연구, 그리고 연구가 창출한 영향력을 분석했습니다. 패널들은 다양한 주제 영역의 연구 영향력을 평가하고, 또 연구를 수행한 대학의 신뢰성도 분석했습니다.
최근 RAE에서 발표한 보고서는 연구에서 비롯된 사회적 영향력에 대한 해석을 취합한 것으로, 이를 통해 REF 영향력 사례 연구 데이터베이스가 제작되었습니다. 이 데이터베이스는 사례 연구에 대한 분석과 자동 텍스트 마이닝(mining)을 가능케 하는 검색 도구로, 영국 및 기타 국가의 관계자들이 향후 분석을 위해 평가할 수 있습니다. 제출된 연구 결과 중에는 수질과 수도산업의 성과를 향상시킨 연구 프로젝트, 보건진료소 의료전달의 품질을 향상시킨 연구 프로젝트 등 국제적인 영향력을 가진 연구들도 있었습니다.
최신 보고서에 관한 몇 가지 사실
REF 프로젝트는 거대 프로젝트로, 패널들이 제출된 연구결과물을 검토하는 데 1년의 기간이 소요되었습니다. 다음은 2014년 REF 보고서와 관련된 몇 가지 사실들입니다.
■ 영국의 154개 고등교육기관이 참여
■ 제출 1,911건, FTE 학술 스태프 52,061명, 연구결과물 191,150편, 영향력 사례 연구 6,975건
■ 전문가로 구성된 하위 평가단이 36개, 메인 평가단 4개의 구성으로, 학술단체 회원이 898명, 연구이용자 259명
■ 패널들은 ‘독창성, 유의성, 엄격성’을 기준으로 연구결과물의 품질을 평가
보고서의 주요 결과
REF 보고서는 연구 평가 과제(RAE; Research Assessment Exercise)라는 이전 분석에 비교했을 때 제출된 연구결과물의 품질이 기하급수적으로 상승했다고 언급했습니다. 또, 다음과 같은 사항들도 보고했습니다:
■ 세계적으로 뛰어난 수준으로 평가된 결과물의 평균 비율은 2008년 RAE의 14퍼센트에서 2014년 REF의 22퍼센트로 상승했습니다. 국제적으로 우수한 수준으로 평가된 결과물의 평균 비율은 37퍼센트에서 50퍼센트로 상승했습니다.
■ 연구수입의 흐름은 영국 연구 위원회에서 38퍼센트, 영국 정부 기관들로부터 19퍼센트, 영국 내 다양한 자선기금에서 19퍼센트, 영국 업계에서 6퍼센트, EU 정부 기관들로부터 9퍼센트로 다양했습니다.
■ REF 영향력 사례 연구의 80퍼센트 이상이 다양한 학제의 기반연구였습니다.
영향력 사례 연구는 다양하고 광범위했으며 60개 이상의 “임팩트 토픽(impact topic)”이 식별되었습니다.
■ 응용연구, 기초연구, 실제 기반 연구, 전략 연구 등 모든 유형과 형식의 연구, 또 협력연구, 학제간 연구, 다학제 연구 등 다양한 노력의 형식을 가진 연구에서 우수성이 나타났습니다.
■ 보고서의 연구 영향력은 3,700개 이상의 연구-영향력 경로를 가진 광범위한 주제 영역의 연구에서 기인하였습니다.
■ 영국의 고등교육기관(HEIs) 에서 수행된 연구가 세계 모든 국가에 이바지했습니다.
이 보고서는 연구의 품질이 펀딩 정책에 어떻게 영향을 미치는지를 보여주고, 연구의 상업화에 이해를 도울 만한 사실을 보여줍니다. 영국의 연구는 국내외적으로 사회, 경제, 그리고 인간의 삶의 질에 영향을 미친다는 것으로 보고서는 결론을 내리고 있습니다.
REF 보고서에 대한 전문가의 관점
REF 보고서는 영국에서 수행된 연구의 품질과 가치를 상세하게 설명하고 있지만, 일부 전문가들은 이 프로젝트의 결함을 지적하기도 했습니다. 연구 결과물의 준비와 제출, 그리고 이렇게 제출된 결과물에 대한 1년간의 분석에는 상당한 돈과 시간이 들었습니다. 랭카스터 대학교(Lancaster University) 역사학 교수 데렉 세이어(Derek Sayer)는 이렇게 평했습니다. “6년마다 이루어지는 이 학계의 “배틀 로얄”에 들어간 공식적인 비용은 대학 내에서 4천7백만 파운드에 달하고, HEFCE의 행정비용으로 천2백만 파운드가 드는데, 대부분은 국민의 세금이다.”
연구결과물 평가 방법에 대한 비판도 있습니다. 세이어 교수는 REF가 국제 피어리뷰 기준을 지키지 않았다고 지적했습니다. 또 평가위원들은 대부분 영국 내 대학에 소속된 전문가였습니다. 게다가, 어떤 평가단에서는 오직 한 사람만이 연구결과물을 평가하기도 했는데, 이때 전체적인 평가에 제한이 생겼을 가능성이 있습니다. <네이처>의 사설에 언급된 것처럼 영향력 평가에 표준이 결여된 이유가 이 때문일 수 있습니다.
연구결과물을 질적, 양적으로 검토하기 위해서는 더욱 합의된 접근이 필요합니다. 일부 전문가들이 제기한 또 한가지 문제점은 REF의 개요가 혁신을 저해할 수 있다는 점입니다. 제출한 연구결과물이 대학이 받는 펀딩에 직접적인 영향을 미칠 수 있으므로, 평가자들의 구미에 맞을 만한 기준에 맞추어서 연구결과물을 만들게 되는 것입니다. 이러한 협상을 하게 되면 새로운 분야를 재정의하거나 개척하는 연구는 드러나지 않게 됩니다.
그럼에도 불구하고 REF 보고서는 연구가 사회와 삶의 질에 끼치는 세계적 영향력을 기록할 수 있다는 증거입니다. REF 보고서는 과학적 진보의 큰 그림을 이해하고, 과학 발전의 속도와 방향을 안내할 수 있는 새로운 길을 향한 든든한 한 걸음이 될 것입니다.
