임팩트 팩터(Impact factor)에 대한 논란들

임팩트 팩터(Impact Factor)는 출판과 과학 분야에서 가장 널리 회자되는 주제 중 하나입니다.

톰슨 로이터(Thomson Reuter)에서는 저널에 대해 매년 임팩트 팩터 (IF)를 매기는데, 이는 지난 2년간 해당 저널에 실린 논문들이 올 한 해 인용된 횟수의 평균값입니다.

지난 달에 톰슨 로이터는 2013년의 저널 임팩트 팩터를 담은Journal Citation Reports(JCR)을 발표했습니다. 톰슨 로이터에 따르면, 이번 JCR에는 83개국에서 발간된 232개 전공영역의 10,853개 저널이 실려 있다고 합니다.

이 중 총 379개 저널이 이번에 처음으로 임팩트 팩터를 가지게 되었습니다. 또, 인용 상의 문제점으로 빠지게 된 저널들은 37개에 달합니다. 이렇게 빠진 저널들은 2년 후 재평가를 통해 JCR의 수록 여부를 결정하게 됩니다. 

이번 JCR에서 주목할 만한 점은 다음과 같습니다.

2013년 임팩트 팩터 리스트에서 66개 저널이 제외되었는데, 이는 지나친 자기인용, 혹은 ‘citation stacking’ 이라고 불리는 방법을 통해 저널 내에서, 혹은 서로의 저널을 인용하는 행위가 두드러졌기 때문입니다.

톰슨 로이터에 따르면: 

올해 55%의 저널이 임팩트 팩터의 상승을 보인 반면 45%는 하락했다고 합니다. 이렇게 임팩트 지수가 하락한 저널 중 하나가 게재된 논문 편수를 따질 때 세계에서 가장 큰 규모의 저널인 <PLoS ONE> 입니다.

<PLoS ONE>의 임팩트 팩터는 (6,749건의 논문을 게재한) 2010년 4.4에서 (23,468 건의 논문을 게재한) 2012년에는 16% 하락한 3.7이었습니다.

흥미로운 사실은 새로운 JCR에 대해 몇몇 출판 관계자들은 관심있어 하지만, 몇몇 저널과 연구자들은 JCR에 그다지 신경을 쓰지 않는 다는 것입니다. 그 이유는 무엇일까요?     

오늘날 많은 연구자들과 출판전문가들은 임팩트 팩터에 대해 비판이 늘어나고 있음을 잘 알고 있습니다.

지난해에는 임팩트 팩터에 대한 의존도를 줄인 새로운 학술 평가기준을 만들자는 이니셔티브가 생겨났습니다. 2012년 12월, 샌프란시스코에서 열린 < The Annual Meeting of The American Society for Cell Biology> 에서 학술 분야 편집자와 출판인들이 모여 연구 산출물의 질 측정방법과 과학 논문 인용방식 등을 논의했습니다.

참가자들은 또한 각 논문의 영향력을 통해 저널의 질을 평가할 수 있는 방법을 찾고자 했습니다. 이 회의를 통해 참가자들은 샌프란시스코 연구 평가 선언 (DORA)이라는 권고사항을 발표했습니다.

이 권고사항들은 주로 피어 리뷰를 시행하는 저널에 발표되는 연구 논문과 관련된 사항으로 연구 산출물의 질을 평가하는 방식을 개선시키고자 하였습니다.

 DORA를 관통하는 주제들은 다음과 같습니다. 

- 연구비 지원, 임용, 승진 심사 시 저널 임팩트 팩터와 같은 저널 중심의 연구성과 측정기준의 배제 필요성 제기

- 출판된 저널보다 연구 논문이 가진 연구 자체의 우수성에 기초해 연구성과를 측정해야 하는 필요성 제기

- 온라인 출판이 제공하는 여러 가능성을 활용할 수 있는 방안 논의 (논문에서 단어, 그림, 참고문헌 숫자에 대한 제한을 완화하고 연구성과의 중요도와 영향력을 측정할 수 있는 새로운 평가지수 탐색) .

DORA가 이 모든 사항을 성취할 수 있는 방법을 제시하고 있는 것은 아닐지라도, 이 선언은 임팩트 팩터가 가지고 있는 문제점을 정리하고 이를 극복할 수 있는 방안을 제공하고 있습니다.

DORA는 개별 논문의 영향력을 측정하거나 연구자의 과학적 기여도를 평가하고, 또 연구자의 승진, 고용, 연구비 등의 문제를 결정하는 데 임팩트 팩터의 사용은 부적절하다고 주장합니다.

DORA는 저널의 활동을 보다 명확하게 보여줄 수 있는 5개년 임팩트 팩터, EigenFactor, SCImago, h 인덱스, 편집 출판 횟수 등을 사용할 것을 권장하고 있습니다.

전세계의 학술 및 과학 학회 및 협회에서 DORA에 대해 긍정적인 반응을 보였습니다.

8000명 이상의 개인과 300개 이상의 단체가 DORA에 지지 서명을 보냈으며, 서명인단 중 6%는 인문학 분야, 나머지 94%는 과학 분야 연구자이며,  46.8%는 유럽에서, 8.9% 는 남아메리카에서, 5.1%는 아시아에서 서명이 이루어졌습니다.

그러나, 몇몇 논평가들은 DORA는 저널과 저자의 영향력을 측정할 수 있는 더 나은 대안을 제시하지 못하고 임팩트 팩터만을 강하게 비난했다고 지적했습니다. 또한 임팩트 팩터가 오랫동안 살아남은 이유는 DORA가 인정하지 않는 임팩트 팩터의 안정성 때문이라고 밝혔습니다.

톰슨 로이터에서는 DORA에 대한 응답으로 성명을 발표했는데, 임팩트 팩터가 저널에 실린 개별 논문의 가치를 측정하기 위한 것도, 측정할 수도 없음을 받아들이는 한편으로, 로이터는 임팩트 팩터가 해당 분야에서 저널의 명성과는 분명히 연관성이 있다고 주장하였습니다. 

저자 또는 연구자로서 여러분은 DORA가 과학계에 변화를 불러일으키리라고 생각하십니까? 여러분은 DORA의 입장에 동조하십니까? 여러분의 의견을 보내 주시기 바랍니다.