제가 처음으로 학술 블로그에 글을 썼던 글의 주제가 임팩트 팩터에 관한 것이었습니다. 2012년 6월 저널 인용 보고서(JCR) 최신판이 막 발표된 시점이었고 임팩트 팩터는 인기 주제였죠. 글을 쓰면서 여러 조사를 거쳐 임팩트 팩터의 보이콧 필요성을 주장하는 의견을 포함하여 이와 관련한 다양한 시각이 있다는 것을 알게 되었습니다. 그럼에도 불구하고 저는 연구자들이 임팩트 팩터를 상당히 중요하게 생각한다는 것을 알았기에 그것을 하나의 단순 지표로 치부하기가 두려웠습니다. 그래서 저는 최대한 중립적인 입장에서 임팩트 팩터의 찬반양론에 균형을 맞춰 임팩트 팩터가 어떤 점 때문에 중요하게 여겨지는가, 또한 어떤 점을 주의 해야하는 가에 대한 글을 썼습니다.
4년이 지난 뒤 저는 다시 이 자리에서 무엇이 바뀌었는가를 생각해봅니다. 표면적인 내용에 대해서는 많이 이야기하지 않겠습니다. 톰슨 로이터(Thomson Reuters)의 2016년 저널 인용 보고서가 발표되었고 또다시 학술 출판계는 술렁였습니다. 소셜 미디어상에서 #ImpactFactor는 재빨리 논의의 화두에 올랐습니다. 최신 순위에 만족한 저널들은 사설을 발표하고 트위터를 통해 새 임팩트 팩터를 전하고 있으며 투고 준비를 거의 마친 저자들은 저널의 새 임팩트 팩터를 기반으로 타깃 저널들을 재검토하고 있습니다. 에디티지 인사이트와 같은 학술 출판 블로그들은 임팩트 팩터를 주제로 시리즈 기사를 발표하며 여론을 더하고 있습니다.
학술 출판계에는 2012년부터 대체적 평가 지표, 대중을 위한 과학, 그리고 삶과 관련하고 삶을 개선하는 측면에서, 소셜 미디어상에서 얼마나 많이 논의되고 있는가의 측면에서, 그리고 얼마나 많은 일반인이 그것을 알고 있는가의 측면에서 측정하는 연구 영향력에 대한 유용한 논의가 붐을 이루기 시작했다고 할 수 있습니다. 하지만 현실은 어떨까요? 저는 최근 중국에서 몇몇 저자들에게 어떤 측면을 고려하여 논문을 투고할 타깃 저널을 선택하는지 물었습니다. 그리고 임팩트 팩터가 여전히 가장 중요하게 여겨진다는 것을 알게 되었지만 이 또한 그다지 놀라운 것이 아니었습니다. 승진과 종신직 임용, 연구비 지출에 관련한 의사 결정 시 학계와 연구비 지원 기관이 여전히 임팩트 팩터에 심하게 의존하고 있다면 그렇지 않을 수가 없겠죠.
디지털화는 학술 출판에 혁신을 일으키고 있고 인터넷은 사람들이 정보에 접근하고 정보를 흡수하는 방식을 바꾸고 있습니다. 설명을 위해 이러한 비유를 들 수 있겠네요. 저는 요리를 좋아하고 또 꽤 잘하는 편입니다. 분명 어머니께 물려받은 특성이라고 할 수 있습니다. 어머니께서 얼마나 자신의 요리책들을 소중히 여기셨는지, 책들을 꺼내 보시고, 먼지를 털어내시고, 수년 전 이용했던 하나의 요리법을 찾기 위해 책더미를 뒤지셨던 것을 생각해봅니다. 저는 반면 단 한 권의 요리책도 가져본 적이 없습니다. 저는 보통 무엇을 만들고 싶다는 생각이 들면 온라인에서 찾아보고 같은 요리에 대한 몇 개의 요리법을 훑어본 다음 그 내용을 참고하여 요리를 만듭니다. 저에게는 제 브라우저에 즐겨찾기 해 놓은 블로그 글 모음이 제가 가진 단 하나의 커다란 요리책인 셈입니다.
이제 다음 내용을 고려해보도록 하죠. 저자들은 여전히 논문을 투고할 저널을 선택할 때 임팩트 팩터를 매우 중요히 여깁니다. 하지만 논문을 인용하는 저자들도 타 연구자의 연구논문을 인용할 때 해당 논문이 무슨 저널에 게재되었는가까지 신경 쓸까요? 연구자들은 서론과 고찰 섹션을 작성할 때 키워드 검색으로 관련 논문들을 찾고 그 논문들을 인용합니다. 만일 논문이 실린 저널의 임팩트 팩터가 일정한 허용 기준보다 낮다고 한들 저자는 그 인용을 제외하진 않을 것입니다. 그렇다면 개별 논문들이 얼마나 널리 인용되었는가를 기초로 하는 임팩트 팩터가 여전히 전체 저널의 수준을 반영하는 것으로 여기는 것은 모순적일 수 있습니다.
점점 더 많은 연구가 재현할 수 없는 것으로 여겨진다 해도, 게재 취소되는 논문들이 점차 많아진다 해도, 언론이 출판된 연구의 중요성을 잘못 해석하고 부정확하게 부풀린다 해도, 점점 더 많은 저자가 게재 거절 사유가 불투명한 저널들을 불평한다 해도 저널의 임팩트 팩터가 중요할까요?
다시 요리 비유로 돌아가 보겠습니다. 제가 온라인으로 찾아본 모든 요리법을 생각해보면 저는 독자들이 요리법을 평가하고, 그것을 따라 해 본 경험을 나누고, 또 변경한 재료의 배합 비율을 제안하는 등의 코멘트를 읽는 것이 매우 중요했음을 알게 됩니다. 모든 비즈니스 분야에서 고객 리뷰와 평가는 품질과 성공에 대한 기본적인 지표를 형성합니다. 이러한 사고방식을 학계로 확대해 본다면 (독자가 지급하는) 전통적인 구독 모델이나 (저자가 지급하는) 오픈 액세스 모델에서 연구자는 모두 저널의 고객이라고 할 수 있습니다. 그렇다면 고객에게 발언권을 주고 그 발언이 저널 순위에 고려되어야 타당하지 않을까요?
저널의 품질이 어떻게 측정되어야 하는 가에 대한 제 생각은 이렇습니다. 저는 저자들에게 저널이 요구사항을 얼마나 잘 설명하는가, 투고 논문을 얼마나 잘 관리하고 있는가, 저자 문의에 얼마나 빠르게 응답하는가를 기준으로 저널을 평가하고 리뷰할 수 있는 포럼을 제공하고 싶습니다. 저널을 평가하는 권위 있는 조직이 있어야 한다면 심사와 피어 리뷰 과정의 철저함과 같은 다른 여러 요인보다도 위에 언급된 것들이 기준이 되어 저널의 순위를 결정해야 합니다.
연구 논문 자체를 위해서는 인용 지표와 알트메트릭스(altmetrics)라는 훌륭한 지표들이 있지만, 이 중 어느 것도 그 자체로 완벽하지는 않습니다. 모든 형태의 연구는 연구 방법이 강건하건 미심쩍건 인용되거나 사회적 언급(social mention)을 얻을 동등한 기회가 있습니다. 그리고 적절한 문맥 내에서 이러한 지표들을 고려하기란 매우 어렵습니다. 그와는 반대로 만일 이러한 척도들이 별개로 사용된다면 연구 논문의 “영향력(impact)”은 출판사나 저자 소속기관이 출판 논문의 홍보를 위해 바칠 수 있는 예산에 의해 결정되거나 적어도 영향을 받게 될 것입니다.
저는 단지 정량적인 척도 대신 연구자들이 출판된 논문을 리뷰하고 평가하고, 연구를 성공적으로 반복할 수 있었는지에 대해 코멘트하고, 연구 계획의 개선을 제안할 수 있는 포럼이 있었으면 합니다. 자신이 발행한 개별 논문들에 대해 훌륭한 사용자 리뷰와 평가가 쌓인 저널들은 자동으로 높은 순위의 높은 영향력이 있는 저널로서의 자격을 얻게 될 것입니다.
2012년 제가 처음 임팩트 팩터에 관한 글을 쓴 뒤로 많은 변화가 있었습니다. 임팩트 팩터에 관한 제 개인적인 의견도 그것을 표현할 수 있는 자신감과 함께 바뀌었다는 것은 말할 필요가 없겠죠. 그리고 저는 학계 곳곳에서 제 의견이 지지가 되고 있을 거라 믿습니다. 사실 지난해 잉글랜드 고등교육 기금위원회(Higher Education Funding Council for England)는 연구 평가와 관리에서 지표의 역할에 대한 독립적 리뷰를 통해 학계의 연구 평가에 대한 접근을 바꾸는 방법에 대해 몇 가지 훌륭한 제안을 내놓았습니다.
하지만 연구비 지원 기관과 연구 기관이 연구자의 가치를 평가하기 위해 임팩트 팩터를 사용하는 방식, 연구자가 저널 선택 결정에 임팩트 팩터에 의존할 필요성을 느끼는 것, 그리고 단순한 수치가 저널과 협력해온 연구자들의 실제 경험보다도 더 많은 것을 장악하고 있는 듯한 사실이야말로 빠른 변화가 없고 이로움보다 더 큰 해로움을 주고 있습니다. 이제 연구의 질 평가와 연구자의 자질 평가도 학술 출판계에 휘몰아치고 있는 모든 다른 변화에 발을 맞춰 변화해야 할 때입니다.
