국내 동료심사(Peer review) 현황 및 연구 진실성 개선을 위한 방안: 이효빈 대학연구윤리협의회 집행이사 인터뷰

‘연구 진실성(Research integrity): 연구에 대한 신뢰 구축 및 지원’을 주제로 하는 피어 리뷰 주간 2022행사는 동료심사(Peer review)가 학술 연구의 무결성을 유지하고 강화하는 데에 어떻게 도움이 되는지 글로벌 학술 출판 커뮤니티가 이야기를 나눌 수 있는 소중한 기회입니다.

에디티지 인사이트는 매년, 피어 리뷰 주간 마다 다양한 지역과 배경의 연구자, 편집자, 학술 관계자들과 동료심사를 주제로 이야기를 나누어 오고 있습니다. 올해는 대학연구윤리협의회 집행이사이자, 한국연구재단 연구윤리정보센터 자문위원으로 활동하고 계신 이효빈 박사님과 국내 동료심사 현황 및 연구 진실성 개선을 위한 방안을 주제로 이야기를 나누었습니다.

이효빈 박사님은 미국 유타대학교와 텍사스 대학교 오스틴에서 정치학 석사, 고려대 정치외교학과에서 박사 과정을 마치고, 현재 충남대학교 아시아비지니스국제학과에서 강의를 하고 있습니다. 한국연구재단에서 발간한 “신진연구자를 위한 연구윤리 첫걸음”, “학술연구와 관련된 동료심사(Peer Review)의 윤리기준에 관한 연구” 등의 보고서에 저자로 참여하였습니다.

Q. 선생님, 안녕하세요. 인터뷰를 수락해 주셔서 감사합니다! 선생님께서는 전공 연구와 강의 등으로 바쁘신 와중에도, 연구 윤리 관련 활동에 활발히 참여하고 계십니다. 지난해에는 한국연구재단에서 발간한 “학술연구와 관련된 동료심사(Peer Review)의 윤리기준에 관한 연구”의 제 1저자로 참여하시기도 하셨고요. 이렇게 연구 윤리에 관한 활동에 집중하게 되신 계기가 궁금합니다.

A. 국내에는 사실 이 주제를 연구하는 분들이 별로 없고, 페이퍼를 쓰시는 분들도 거의 없습니다. 한국 연구재단 정책연구팀에서 일하면서, 2017년에 연구비 관련 문제에 대해 두 편의 보고서를 썼습니다. 당시에는 연구 윤리 이슈가 국내에서 크게 부각되지 않은 시기였는데, 얼마 뒤 부실 학회 문제가 발생하였고, "부실학술활동의 주요특징과 예방대책"(2019)까지 작성하게 되면서, 부실 학회 조사위원으로도 참여하게 되었습니다. 이후, 2019년부터 대학연구윤리협의회 집행이사로 일하게 되면서 활동 영역이 더 넓어지게 되었습니다.

Q. 올해 ‘피어 리뷰 주간 2022’의 주제는 ‘연구 진실성: 연구에 대한 신뢰 구축 및 지원’입니다. 동료심사 제도가 연구 진실성의 유지 및 개선을 위해 어떤 역할을 하고 있다고 보는지 의견을 나누어 주실 수 있을까요?

A. 많은 분들이 사이언스나 네이처 등의 유명 저널은 논문을 출판하기가 매우 어려우니, 이런 저널에 실린 논문은 연구 윤리에 문제가 없을 것이라 생각합니다. 하지만 2005~2006년 연구 부정 행위로 세계적인 물의를 일으켰던 황우석 박사의 논문도 사이언스에서 출판되었습니다. 또한 Retraction Watch에 보고되었던 서울대 교수 논문의 위/변조 건도 모두 저명 학술지에서 출판된 것이었습니다. 이 논문들은 다 동료심사를 거친 것인데, 사람들은 왜 사이언스 같은 유명 저널의 논문에 부정행위가 발생하는지 궁금해합니다.

결론적으로 말씀드리면, 동료심사가 원칙적으로는 논문이 얼마나 우수한가를 다른 동료가 심사하게 함으로써 논문의 질을 보장할 수 있게 하는 것은 맞지만, 연구 부정행위를 완전히 거르는 역할을 할 수는 없으며, 한계가 있을 수밖에 없습니다. 동료심사 과정에서 심사자가 논문을 받으면, 해당 논문에 연구 부정행위가 없을 것이라 가정하고 논문을 검토하는 것이 보통입니다. 그런데 운이 좋게, 심사자가 자신의 논문 혹은 다른 읽어 본 연구 중에 유사한 것이 있는 것을 알고 걸러내는 경우도 있지요. 그런데 그걸 완벽하게 걸러 내기가 무척 어렵고, 위조된 데이터 등을 찾기는 굉장히 어렵습니다. 그래서 동료심사 과정을 통해 반드시 연구진실성을 확보할 수 있는 것은 아니라는 점을 말씀드리고 싶습니다.

오히려 동료심사로 인해서 연구 진실성 문제가 발생하는 경우도 상당히 있습니다. 실제로 제가 들었던 일이기도 하고, 발생했던 일이기도 한데요. 논문을 제출하고 거절이 되었는데, 1~2년 뒤에 그 연구 내용이 다른 학술지에 다른 사람 이름으로 나와 있었습니다. 알고 보니 그 사람이 심사자였습니다. 이처럼 심사자가 일부러 논문을 승인 거절하고, 이를 변형해서 논문으로 낸 사례가 발생하고 있습니다. 이런 일이 발생할 경우, 굉장히 의심스러운 정황이지만, 관련 사실을 증명하기가 굉장히 어려운 것이 현실입니다.

Q. 선생님께서 언급하신 바와 같이, 동료심사 과정에서 오히려 연구 진실성을 위협하는 사례가 발생하기도 합니다. 심사자가 자신의 연구나 이해관계가 있는 연구를 인용하도록 강요한다거나, 표절, 이해상충 문제, 연구 기밀 누설 등 그 유형도 다양하다고 들었습니다. 생각나는 다른 사례가 또 있으신가요?

A. 이해충돌 문제는 굉장히 많이 발생합니다. 저널의 편집자로 있으면 일반적으로 그 저널에 자신의 논문을 싣지 않는 것이 좋지요. 그런데 자신이 편집자로 있으면서 해당 학술지에 논문을 제출하고, 동료심사 할 사람을 자신이 지정하는 경우가 있습니다. 이런 것이 전형적인 이해충돌이거든요. 말씀드린 것처럼, 심사자가 원고를 표절하는 경우도 있고, 자기 논문을 인용하라고 강요하는 경우도 발생했습니다. 또 논문 수락율이 낮아야 좋은 학술지로 인식하는 경향이 있잖아요? KCI 등재 학술지에서 있었던 일인데, 논문 승인 수락율을 낮추기 위해 심사를 한 것처럼 거짓말을 하게 만들고, 수락율을 낮추는 경우도 실제로 발생하였습니다.

Q. 심사자에게 동료심사 의뢰를 할 때, 저널에서는 최소한 이런 부분(예를 들어 표절, 이미지 조작 등)은 걸러야 한다는 최소한의 기준이 있을까요?

A. 보통 국내 학술지에서는 턴잇인(Turnitin) 또는 카피킬러를 통한 표절 검사를 실시합니다. 학술지마다 다르지만, 표절률이 15~20% 이상이면 논문 심사 단계로 넘어 가지 않고, 데스크 심사에서 거절을 합니다. 이러한 방식으로 표절에 대한 부분을 일부 거르기는 하지만, 표절 외에 다른 연구 부정 행위에 대해서는 걸러 내기가 쉽지 않습니다. 저명 학술지 같은 경우에는 위변조 문제를 예방하기 위해, 원 데이터를 같이 제출하도록 합니다. 그러면 심사자는 이를 바탕으로 연구 위변조 여부를 비교적 용이하게 확인할 수가 있지요. 하지만 이는 일부 우수 학술지에서만 수행되고 있습니다.

부당한 저자 표시 같은 경우도 심사자가 알 수 있는 방법이 거의 없습니다. 학술지는 보통 저자 A, B, C가 있으면, 각각 무슨 역할을 했는지 작성하도록 요구합니다. 하지만, 만일 이러한 역할 수행에 대해 거짓으로 쓴다고 해도, 심사자가 이를 알기는 어렵지요. 한국어로 출판된 연구를 영어로 중복 출간하는 등의 부당한 중복 게재 문제도 식별하기가 쉽지 않은 실정입니다.

Q.  연구재단 보고서에서도 언급하셨지만, 동료심사 과정에서 막대한 인적, 물적 자원이 투여되고 있습니다¹. 이에 관해 간단히 말씀해 주실 수 있으실까요? 또, 현재 한국에서 이루어지고 있는 동료심사 제도 현황에 대한 의견도 나누어 주시면 감사하겠습니다.

A. 한국연구재단은 연구비 지원 기관이라 돈이 있기 때문에, 동료심사를 진행하는 데에 돈을 일부 지불하기도 합니다. (선생님, 보통 다른 일반 학술지 같은 경우는 심사비가 없는 경우가 많지 않나요?)

네, 맞습니다. 연구재단은 약간이나마 돈을 지불하니까 심사자를 구하기가 낫지요. 하지만 일반 학술지는 거의 봉사입니다. 인문 사회는 특히 돈이 없잖아요. 그러니 심사자로서는 인센티브가 없는 거죠.

분야 마다 조금씩 동료심사의 과정이 다를 수는 있습니다. 한 수학 학회지랑 얘기했을 때는 1명이 심사를 하신대요. 수학 분야의 논문은 답이 명쾌할 수 있으므로, 하나의 논문을 한 명이 검토하고, 그걸 해결하는 과정이 맞는지 아닌지 확인하는 식이 가능할 수 있습니다. 그런데 인문사회 같은 경우에는 관점에 따라 논문의 질이 결정이 되므로, 같은 논문에 대해서도 어떤 심사자는 승인 거절을 하고, 어떤 사람은 수정 후 게재, 어떤 사람은 게재 승인을 주기도 합니다. 그래서 보통 인문사회 학술지는 2~3명의 심사자를 배정합니다. 이 심사자들은 금전적 보상이 전혀 없이, 논문을 다 읽어야 하고, 코멘트도 일일이 줘야 합니다. 심사자의 엄청난 시간과 노력이 소모가 되죠. 논문 하나를 심사한다고 하면, 3명의 노고가 투여가 되는 것이고, 또 논문을 투고하고 출판하는 데에 게재료와 같은 돈이 드니까 엄청난 돈과 시간이 들어간다고 말할 수 있는 겁니다.

또 다른 측면의 문제는, 논문을 제출한 저자의 입장에서 동료심사 과정이 너무 많은 시간이 걸린다는 거예요. 제 경우에도 현재, SCI 저널에 제출한 논문 중 하나가 수정 후 재제출 상태인데, 처음 리뷰를 받는 데에 6개월이 걸렸거든요. 이게 짧게 걸린 것이고, 1년씩 걸리기도 합니다. 그런데 이렇게 해서 최종적으로 승인 거절을 안 당하면 그래도 괜찮죠. 그렇게 하고 거절을 당하면 다른 저널에 내야 하고, 다른 데 내면 또 한참 소식이 없습니다. 그러면 또 다른 논문을 쓰고 있는데, 공허함이 있어요. 이건 또 어디에 내지? 그런 일이 아주 많아요.

저는 국내 연구자들이 부실학술지에 논문을 자꾸 내는 이유도 생각해 볼 필요가 있다고 생각합니다. 빨리 결과가 나오니까, 한달이면 나오거든요. 연구자 입장에서 한달과 6개월은 엄청난 차이입니다. 나이와 커리어 문제를 생각하면 말이죠. 그래서 부실 학술지 논란이 있을 때에도 이야기했지만, 왜 연구자들이 부실 학술지에 논문을 내는지, 기존의 학술지들이 한번 깊이 생각을 해 봐야 하야 한다고 생각합니다. 그래서 학술지 심사 과정에서 이런 이슈들을 보완하는 노력들을 적극적으로 기울여야 한다고 생각합니다.

Q. 국내 연구자들은 연구 실적의 질보다는 양에 대한 압박이 매우 큰 것으로 알고 있습니다. 그러니 연구 심사 및 출판 시간이 오래 걸리는 게 더 부담이 되는 것이겠지요. 그 실적 수를 쌓을 수 있는 시간이 그만큼 늦어지는 것이니까요. 그래서 말씀하신 바와 같이, 부실 학회 등의 연구 부정 문제가 더 심해지는 부분도 있을 것 같습니다.

A. 제가 참여한 “대학 교원의 연구윤리 인식수준 조사에 관한 연구”(한국연구재단, 2021)에서 진행한 조사에 따르면, '왜 연구부정행위가 끊임없이 일어난다고 생각하느냐?'라는 질문에 연구자들이 가장 많이 답한 것이, '양적 위주의 평가 방식'이었습니다² 이런 평가 방식 때문에, 연구자들이 실적에 쫓기다 보니 연구 부정행위를 저지르게 되고, 부실학회 학술지 게재 문제도 발생하는 거거든요. 그러니까 과연 이게 연구자만 탓할 것이냐 생각해 봐야 하는 문제입니다. 중국이나 미국의 경우, 논문 실적이 없어도 박사학위 논문으로 임용이 되는 경우도 많습니다. 한국은 있을 수가 없는 일이죠. 그러니 국내 연구자들이 어떻게든 양적으로 연구 실적 수를 채우려고 하는 겁니다.

Q. 국내 학계 전반에서 문제 의식을 가지고 변화를 시도해야 하는 부분이겠습니다. 다시 동료심사 문제로 돌아가서, 동료심사 제도의 문제를 보완하려는 다양한 시도들이 이루어지고 있는 것으로 알고 있습니다. 이에 대한 예를 몇 가지 공유해주실 수 있을까요?

A. 프리프린트는 연구에 대한 프린트가 나가기 전에 온라인에 출판을 먼저하는 방식인데, 그러면 논문이 나오기 전에 연구 부정행위를 누군가가 지적할 수 있습니다. 또 pubpeer.com라고 출판 후에 나온 논문을 서로 토론하는 사이트가 있고요,  F1000RESEARCH라는 저널처럼 일부 저널에서는 논문을 먼저 발표하고 동료심사를 진행하는 학술지들도 있습니다.  이런 경우 출판이 먼저 이루어지기 때문에 독자들의 액세스가 가능하고, 심사자들이 심사를 하는 겁니다. 동료심사를 다양한 방식으로 구사를 하는 거죠. 이런 시도들이 굉장히 신선하고, 국내에서도 적극적으로 고려해볼 필요가 있지 않나 생각합니다.

Q. 동료심사 과정을 개선하고, 연구 및 출판 윤리 위반 문제를 보다 잘 해결할 수 있는 방법에 대해 한국의 연구자, 편집자, 학술 출판인 또는 학교/연구 기관에게 전하고 싶은 조언이 있으시다면 자유롭게 나누어 주세요.

A. 우리나라 같은 경우는 연구비를 줄 때, 단일 암맹 평가(Single Blind Review)를 합니다. 저자 이름은 오픈하고, 심사자 이름은 가리는 형태죠. 그러니까 저자의 이력을 심사자가 다 볼 수가 있어요. 그러면 연구 계획서나 논문의 내용은 잘 안 본 상태에서 연구자의 이력만 보고, 연구비 지원을 하는 경우도 굉장히 많거든요. 이게 굉장히 문제라고 생각해요. 커리어가 부족하더라도 좋은 연구 계획이나 내용을 가진 사람이라면 이 정도 연구면 해 볼만 하겠다 하는 기회가 없는 거죠.

그리고 연구가 실패를 했다고 했을 때 - 당연히 연구가 실패를 할 수 있죠. 미국 같은 경우에 치매 연구에 돈을 엄청나게 쏟아 부었는데, 아직 치매를 정복하지 못했잖아요. 그렇지만 굉장히 많은 실패를 했음에도 너희는 실패했어, 투자하지 않겠다가 아니라, 계속해서 지원을 하고, 그러면 언젠가는 미국이 치매를 치료할 수 있는 확률이 다른 나라보다 확실히 더 높잖아요. 그러한 연구에 도전할 수 있는 기회를 줘야 하는데, 한국은 이러한 기회가 별로 없지 않나 하는 생각이 들어요.

그래서 연구비 지원 기관은 다양하게 그런 실패해도 좋은 연구 기회를 일정 정도 줄 수 있어야 하고, 연구 계획서만을 가지고 연구자를 평가할 수 있는 시스템, 그러니까 저자 이름은 오픈하는 단일 암맹 심사(Single Blind Review) 방식이 아니라, 연구자 이름도 가리는 이중 암맹 심사(Double Blind Review) 방식이면 좋겠다는 거죠.

그리고 학교 현장에서는, 현실적으로 어려울 수 있으나, 미국 같은 경우는 학교가 교수를 임용할 때, 다양한 교수 직책을 뽑거든요. 예를 들면, 강의를 굉장히 잘한다, 그러면 강의 전담으로도 많이 뽑고, 연구를 굉장히 잘한다 그러면 연구만 하는 교수로도 뽑고, 이런 식의 다양함이 존재하고 있어요.

조금 더 다양한 평가 방식과 인력 배정이 가능해졌으면 하는 거죠. 너무 연구비, 평가를 실적으로만 평가하다보니까. 교수라는 게 교육도 굉장히 중요한 한 축이잖아요. 그런데 교육은 신경을 안 쓰고 연구만 하는 사람 위주면, 학생 입장에서는 강의와 학생을 신경 써 주는 사람이 필요하단 말이죠. 그렇게 인력을 다양하게 쓰는 노력이 필요하지 않나 하는 생각이 듭니다.

Q. 마지막으로, 최근에 연구 윤리와 관련하여 어떤 이슈에 집중하고 계신지 말씀해 주실 수 있을까요?

지난해 한국연구재단에서 발간한 “학술연구와 관련된 동료심사(Peer Review)의 윤리기준에 관한 연구”의 후속 연구 및 보고서를 진행 중에 있습니다. 지난해 보고서가 연구비 지원 기관의 동료심사에 집중했다면, 2차 페이퍼에서는 동료심사 전체를 아우르고 영역을 넓히고자 새로운 내용을 수집하고 업데이트하고 있습니다.  다른 하나는 기초연구에서의 동료심사 문제와 평가지표를 어떻게 바꾸면 좋을지에 대한 주제로 작업을 진행하고 있습니다.

연구재단 페이퍼 외에도 중요한 이슈에 대한 연구와 출판물을 준비 중에 있습니다. 하나는 “외국인 연구자를 위한 연구 윤리 가이드”에 관해 연구를 수행하였고, 책자를 만드는 작업을 진행 중입니다. 다만, 올해 2월 <연구윤리 확보를 위한 지침>의 개정이 예고된 이후, 아직 확정이 안 된 상태라 이를 반영하기 위해 발간을 보류하고 있습니다. 다른 하나는 ‘이해충돌’에 관한 주제입니다. <이해충돌 방지법>이 2022년 5월 19일부터 시행이 되면서, 학계에서도 이해충돌 관련 이슈를 다루어야 할 필요성이 제기되었습니다. 이에 대한 연구를 진행하고, 곧 최종본이 나올 예정입니다. 개인적으로는 연구윤리를 주제로 한 연구 논문을 작성하고 있습니다. 논문은 거의 완성 단계에 있으나, 국내에서는 이 주제를 본격적으로 다루는 학술지가 드물어, 어떤 저널에 제출할지 고민 중에 있습니다.

이효빈 박사님, 국내 동료심사 현황에 관한 깊이 있는 논의는 물론, 한국 학계 전반에서 연구자들이 겪는 어려움과 현장의 실제를 이해할 수 있는 귀한 이야기를 나누어 주셔서 감사합니다. 인터뷰에 대한 의견이나 질문, 동료심사와 연구 진실성 문제에 관해 나누고 싶은 이야기가 있으신가요? 아래의 코멘트 란에 공유해주세요!