왜 연구평가를 위한 목적으로 저널 Impact Factor를 사용해서는 안될까요?

에디티지 인사이트 | 2014년4월25일 | 조회수 89,634

저널 영향력지수(JIF)의 설립자인 유진 가필드는 원래 저널을 선택하는데 도움되는 수단으로 사용하기 위해서 Impact Factor를 만들었습니다. 현재 JIF는 개별적인 연구 부분이나 뛰어난 논문의 영향력을 평가하기 위해서 부적절하게 사용되곤 합니다. 이 측정지수는 이러한 남용 탓에 상당히 비판 받고 있습니다.

JIF는 특정기간 동안 저널이 받은 논문의 인용 횟수를 이용하여 얻은 단순 평균가입니다. 이전 글에서 "임팩터 팩터 및 저널 명성을 평가하는 기타 지표" 에서 계산과 기능에 대해 다루었습니다. 이번 글에서는 Impact Factor를 사용할 때 고려해야 할 점과 Impact Factor가 가지는 오류에 대해 좀 더 심층적으로 알아 보겠습니다.

JIF의 특징

JIF의 장점과 단점은 아래와 같으며 이 측정 지수의 오용을 막기 위해서는 JIF를 잘 이해해야 합니다.

● JIF 은 논문 수준이 아니라 저널 수준을 측정하는 척도입니다. JIF는 개별적인 논문이 아니라 저널의 모든 논문에서 발생한 인용의 횟수를 측정합니다. 잘 알려진 80-20 규칙에 따르면, 저널의 상위 20%의 논문이 저널 전체의 80%에 인용됩니다. 이런 현상은 Nature 과 같은 가장 유명한 저널에서도 마찬가지로 발생합니다. 그래서, 높은 JIF 저널에서 출판한 논문이 반드시 영향력이 높다고는 할 수 없습니다. 그리고 JIF높은 저널에 실린 논문이라 하더라도 인용을 한번도 못 받을 가능성도 있습니다. 반대로, 특정 년도 이내에 많이 인용된 소수의 논문은 시간이 지남에 따라 저널의 Impact Factor에 변화를 주는 경향이 있습니다.

● 오직 2년 이내의 인용만 고려됩니다. 특정저널이 2년이라는 기간 이내에 받은 인용만을 JIF계산에 넣을 수 있습니다. 그러나 다른 분야에서는 인용패턴에 변수가 있습니다. 의학과 같은 일부 분야는 출판 직후에 바로 인용이 되지만, 사회과학과 같은 분야는 2년이 지나서야 인용이 되기 시작할 수 있습니다. 따라서 2년이라는 기준이 지나서 언급된 논문의 영향력은 사라지게 됩니다.

● 인용의 본질은 무시됩니다. 인용이 긍정적인지, 비판적인지 상관없이, 인용은 저널의 Impact Factor에 영향을 줍니다. 빈약한 연구라서 반박된 논문이 JIF를 증가시킬 수도 있다는 의미입니다. 사실, 유감스럽게도 논문인용은 철회할 수 없기 때문에, 취소된 논문조차도 Impact Factor를 증가시킬 수 있습니다.

● 소스 데이터베이스 안에 색인 등록된 저널만이 순위가 결정됩니다. JIF계산을 위한 소스데이터베이스인 톰슨 로이터의 Web of Science ®(웹오브사이언스)는 12,000 개 이상의 저널을 수록하고 있습니다. 이 수치는 상당히 크며 매년 업데이트되는데도 불구하고, 영어로 출판되지 않은 영향력 있는 저널은 포함되지 않을 수 있습니다. 따라서 Web of Science에 등재되지 못한 저널은 영향력계수가 없으며, 수록저널과 비교할 수도 없습니다.

● JIF는 저널 내에서 논문 유형에 따라 달라집니다. 리뷰논문이 이전의 모든 연구논문을 묶은 것이기 때문에, 다른 유형의 논문보다 더 자주 인용됩니다. 따라서 리뷰논문을 출판하는 저널은 더 높은 Impact Factor를 가지는 경향이 있습니다.

● JIF는 연구분야에 따라 달라집니다. 인용패턴은 학문분야간 매우 다양하기 때문에, JIF는 다른 학과가 아니라 동일한 학과내의 저널을 비교하는데 사용해야 합니다. 예를 들어, 분자생물학 저널이 높은 IF를 가지고 있지만, 수학분야 최고저널조차도 낮은 IF를 가지는 경향이 있습니다.

● JIF 계산 때문에 사용한 데이터는 공개되지 않습니다. JIF는 톰슨 로이터의 것이며, 톰슨 로이터는 사기업이라서 기본데이터와 분석방법을 공개할 의무가 없습니다. 일반적으로, 톰슨 로이터에서 발표한 영향력 계수 보고서를 다른 그룹이 예측하거나 복제할 수 없습니다.

● JIF는 조작 가능합니다. 저널 에디터는 다양한 방법으로 JIF를 조작할 수 있습니다. JIF 값을 늘리기 위해 다수 인용된 리뷰 논문을 출판하거나 인용사례가 적은 논문은 출판하지 않습니다. 최악의 경우 에디터가 저자에게 그 저널논문 인용을 요청하는 등 나쁜 관례가 여전히 계속되고 있습니다.

위와 같은 이유로 논문수준을 측정하기 위해서 JIF에만 기대서는 안됩니다. 저널수준을 측정하기 위해서 조합이 가능한 다른 관련 지표도 찾아봐야 합니다.

만약 JIF가 연구기금 기관에서 사용된다면 개별 논문의 h 색인과 인용횟수를 목록화하고 더불어서 출판한 저널의 Impact Factor도 고려하는 것이 좋습니다. 이렇게 하면, 논문이 출판된 저널의 명성과 관계없이, 논문의 수준과 영향력을 객관적으로 평가하는데 도움이 됩니다.

결론

마지막으로, 연구의 영향력이 과학분야에서 즉각적으로 나타나지 않을 수도 있다는, 연구가 가진 특성을 명심하십시오. 역사상 가장 주목할 만한 과학적 발견 중 일부는 몇 년이 지난 후 에야 인정을 받았으며, 어떨 땐 연구자 사후에 알려지기도 했습니다. 어떠한 측정지표도 실제 논문읽기를 통한 진정한 가치 실험의 재현시도를 대신할 수는 없습니다.

스크랩하기

해당 기사를 스크랩해보세요!

지식은 모두에게 함께 공유되어야 한다는 것이 에디티지 인사이트의 이념입니다. 해당 사이트에서 제공되는 모든 기사는 Creative Commons license로 재포스팅 및 스크랩이 가능합니다. 아래의 가이드라인만 유념해주신다면 언제든지 무료로 에디티지 학술 전문가의 지식을 가져가실 수 있습니다!

주의 : 에디티지 학술 전문가들은 해당 콘텐츠를 만들기 위해 많은 시간과 노력을 쏟고 있습니다. 기사를 스크랩 및 재포스팅 하실 때는 명확한 출처를 남겨주시기 바랍니다.
이미지 재사용: 이미지를 원본이 아닌 편집 재사용하실 때는 에디티지 인사이트의 허가가 필요합니다.

코드를 복사하셔서 기사 공유를 원하시는 사이트에 적용하시면 에디티지 인사이트 기사를 가장 쉬운 방법으로 공유하실 수 있습니다.

<h2>왜 연구평가를 위한 목적으로 저널 Impact Factor를 사용해서는 안될까요?</h2> <div class="demo" id="paginationdemo" style="border: 0px; vertical-align: baseline; margin: 0px; padding: 0px; font-family: GandhiSansRegular; font-size: 13.63636302947998px;">
	<div class="pagedemo _current" id="p1" style="border: 0px; vertical-align: baseline; margin: 20px 0px 0px; padding: 0px; font-family: inherit; font-size: inherit; font-style: inherit; font-variant: inherit; line-height: inherit; text-align: justify;">
		<div class="Ins-tut-slider-cont-left-head" style="border: 0px; vertical-align: baseline; margin: 0px; padding: 0px; font-size: 13.63636302947998px;">
			<div class="clr" style="border: 0px; vertical-align: baseline; margin: 0px; padding: 0px; font-family: inherit; font-size: inherit; font-style: inherit; font-variant: inherit; line-height: inherit; clear: both;">
				저널 영향력지수(JIF)의 설립자인 유진 가필드는 원래 저널을 선택하는데 도움되는 수단으로 사용하기 위해서 Impact Factor를 만들었습니다. 현재 JIF는 개별적인 연구 부분이나 뛰어난 논문의 영향력을 평가하기 위해서 부적절하게 사용되곤 합니다. 이 측정지수는 이러한 남용 탓에 상당히 비판 받고 있습니다.  
					JIF는 특정기간 동안 저널이 받은 논문의 인용 횟수를 이용하여 얻은 단순 평균가입니다. 이전 글에서 "<a href="http://www.editage.co.kr/resources/tutorial/the-impact-factor-and-other-measures-of-journal-prestige.html">임팩터 팩터 및 저널 명성을 평가하는 기타 지표</a>" 에서 계산과 기능에 대해 다루었습니다. 이번 글에서는 Impact Factor를 사용할 때 고려해야 할 점과 Impact Factor가 가지는 오류에 대해 좀 더 심층적으로 알아 보겠습니다.
			</div>
			<div class="clr" style="border: 0px; vertical-align: baseline; margin: 0px; padding: 0px; font-family: inherit; font-size: inherit; font-style: inherit; font-variant: inherit; line-height: inherit; clear: both;"> <img alt="연구평가를 위한 목적" class="responsive" data-file_info="%7B%22fid%22:%22982%22,%22view_mode%22:%22default%22,%22fields%22:%7B%22format%22:%22default%22,%22field_file_image_alt_text%5Bund%5D%5B0%5D%5Bvalue%5D%22:%22%EC%97%B0%EA%B5%AC%ED%8F%89%EA%B0%80%EB%A5%BC%20%EC%9C%84%ED%95%9C%20%EB%AA%A9%EC%A0%81%22,%22field_file_image_title_text%5Bund%5D%5B0%5D%5Bvalue%5D%22:%22%EC%97%B0%EA%B5%AC%ED%8F%89%EA%B0%80%EB%A5%BC%20%EC%9C%84%ED%95%9C%20%EB%AA%A9%EC%A0%81%22,%22field_image_tags%5Bund%5D%5Btextfield%5D%22:%22%22,%22field_image_tags%5Bund%5D%5Bvalue_field%5D%22:%22%5C%22%5C%22%EC%9E%84%ED%8C%A9%ED%8A%B8%ED%8C%A9%ED%84%B0%5C%22%5C%22%20%5C%22%5C%22%EC%97%B0%EA%B5%AC%ED%8F%89%EA%B0%80%5C%22%5C%22%20%5C%22%5C%22%EA%B0%84%ED%96%89%EB%AC%BC%5C%22%5C%22%20%5C%22%5C%22%EC%A0%80%EB%84%90%EB%AA%85%EC%84%B1%5C%22%5C%22%22%7D,%22type%22:%22media%22%7D" src="http://insights.cactusglobal.com/sites/default/files/Impact%20factor.PNG" title="연구평가를 위한 목적" typeof="foaf:Image" /></div>
			<div class="clr" style="border: 0px; vertical-align: baseline; margin: 0px; padding: 0px; font-family: inherit; font-size: inherit; font-style: inherit; font-variant: inherit; line-height: inherit; clear: both;"> </div>
			<div class="clr" style="border: 0px; vertical-align: baseline; margin: 0px; padding: 0px; font-family: inherit; font-size: inherit; font-style: inherit; font-variant: inherit; line-height: inherit; clear: both;">
				JIF의 특징 
					JIF의 장점과 단점은 아래와 같으며 이 측정 지수의 오용을 막기 위해서는 JIF를 잘 이해해야 합니다. 
					 
				● JIF 은 논문 수준이 아니라 저널 수준을 측정하는 척도입니다. JIF는 개별적인 논문이 아니라 저널의 모든 논문에서 발생한 인용의 횟수를 측정합니다. 잘 알려진 80-20 규칙에 따르면, 저널의 상위 20%의 논문이 저널 전체의 80%에 인용됩니다. 이런 현상은 Nature 과 같은 가장 유명한 저널에서도 마찬가지로 발생합니다. 그래서, 높은 JIF 저널에서 출판한 논문이 반드시 영향력이 높다고는 할 수 없습니다. 그리고 JIF높은 저널에 실린 논문이라 하더라도 인용을 한번도 못 받을  가능성도 있습니다. 반대로, 특정 년도 이내에 많이 인용된 소수의 논문은 시간이 지남에 따라 저널의 Impact Factor에 변화를 주는 경향이 있습니다.
				● 오직 2년 이내의 인용만 고려됩니다. 특정저널이 2년이라는 기간 이내에 받은 인용만을 JIF계산에 넣을 수 있습니다. 그러나 다른 분야에서는 인용패턴에 변수가 있습니다. 의학과 같은 일부 분야는 출판 직후에 바로 인용이 되지만, 사회과학과 같은 분야는 2년이 지나서야 인용이 되기 시작할 수 있습니다. 따라서 2년이라는 기준이 지나서 언급된 논문의 영향력은 사라지게 됩니다. 
					 
				● 인용의 본질은 무시됩니다.  인용이 긍정적인지, 비판적인지 상관없이, 인용은 저널의 Impact Factor에 영향을 줍니다. 빈약한 연구라서 반박된 논문이 JIF를 증가시킬 수도 있다는 의미입니다. 사실, 유감스럽게도 논문인용은 철회할 수 없기 때문에, 취소된 논문조차도 Impact Factor를 증가시킬 수 있습니다. 
					 
				● 소스 데이터베이스 안에 색인 등록된 저널만이 순위가 결정됩니다. JIF계산을 위한 소스데이터베이스인 톰슨 로이터의 Web of Science ®(웹오브사이언스)는 12,000 개 이상의 저널을 수록하고 있습니다. 이 수치는 상당히 크며 매년 업데이트되는데도 불구하고, 영어로 출판되지 않은 영향력 있는 저널은 포함되지 않을 수 있습니다. 따라서 Web of Science에 등재되지 못한 저널은 영향력계수가 없으며, 수록저널과 비교할 수도 없습니다.
				 
				● JIF는 저널 내에서 논문 유형에 따라 달라집니다.  리뷰논문이 이전의 모든 연구논문을 묶은 것이기 때문에, 다른 유형의 논문보다 더 자주 인용됩니다. 따라서 리뷰논문을 출판하는 저널은 더 높은 Impact Factor를 가지는 경향이 있습니다. 
					 
				● JIF는 연구분야에 따라 달라집니다. 인용패턴은 학문분야간 매우 다양하기 때문에, JIF는 다른 학과가 아니라 동일한 학과내의 저널을 비교하는데 사용해야 합니다. 예를 들어, 분자생물학 저널이 높은 IF를 가지고 있지만, 수학분야 최고저널조차도 낮은 IF를 가지는 경향이 있습니다. 
					 
				● JIF 계산 때문에 사용한 데이터는 공개되지 않습니다. JIF는 톰슨 로이터의 것이며, 톰슨 로이터는 사기업이라서 기본데이터와 분석방법을 공개할 의무가 없습니다. 일반적으로, 톰슨 로이터에서 발표한 영향력 계수 보고서를 다른 그룹이 예측하거나 복제할 수 없습니다. 
					 
				● JIF는 조작 가능합니다. 저널 에디터는 다양한 방법으로 JIF를 조작할 수 있습니다. JIF 값을 늘리기 위해 다수 인용된 리뷰 논문을 출판하거나 인용사례가 적은 논문은 출판하지 않습니다. 최악의 경우 에디터가 저자에게 그 저널논문 인용을 요청하는 등 나쁜 관례가 여전히 계속되고 있습니다.
				위와 같은 이유로 논문수준을 측정하기 위해서 JIF에만 기대서는 안됩니다. 저널수준을 측정하기 위해서 조합이 가능한 다른 관련 지표도 찾아봐야 합니다.
				만약 JIF가 연구기금 기관에서 사용된다면 개별 논문의 h 색인과 인용횟수를 목록화하고 더불어서 출판한 저널의 Impact Factor도 고려하는 것이 좋습니다. 이렇게 하면, 논문이 출판된 저널의 명성과 관계없이, 논문의 수준과 영향력을 객관적으로 평가하는데 도움이 됩니다. 
				 결론 
					마지막으로, 연구의 영향력이 과학분야에서 즉각적으로 나타나지 않을 수도 있다는, 연구가 가진 특성을 명심하십시오. 역사상 가장 주목할 만한 과학적 발견 중 일부는 몇 년이 지난 후 에야 인정을 받았으며, 어떨 땐 연구자 사후에 알려지기도 했습니다. 어떠한 측정지표도 실제 논문읽기를 통한 진정한 가치 실험의 재현시도를 대신할 수는 없습니다.
				 
			</div>
		</div>
	</div>
</div>
<style type="text/css">
<![CDATA[/* ><!--*/

table.tableizer-table {
	border: 1px solid #CCC; font-family: Arial, Helvetica, sans-serif
	font-size: 12px;
} 
.tableizer-table td {
	padding: 4px;
	margin: 3px;
	border: 1px solid #ccc;
}
.tableizer-table th {
	background-color: #104E8B; 
	color: #FFF;
	font-weight: bold;
}
/*--><!]]>*/
</style> <a href="https://www.editage.co.kr/insights/why-you-should-not-use-the-journal-impact-factor-to-evaluate-research">왜 연구평가를 위한 목적으로 저널 Impact Factor를 사용해서는 안될까요?</a>는 <a href="https://www.editage.co.kr/insights/">에디티지 인사이트</a>에서 제공되었습니다.

위 코드를 복사하시어 원하시는 곳에 다시 포스팅 하실 수 있습니다.