논문 작성과 출판에서의 부정 행위에 대해서 논할 때, 우리는 자주 표절이나 중복 출판을 떠올립니다. (불행히도) 또 다른 흔한 부정 행위는 이미지 조작이나 복제입니다. 오늘, 우리는 논문 출판에서 연구 진실성을 확인하고 증진시키고자 결심한 과학자에 대해 이야기하려고 합니다. 과학 컨설턴트이자 블로그 ‘마이크로바이옴 다이제스트(Microbiome Digest)’의 설립자인 엘리자베스 비크 박사를 만나 봅시다. 비크 박사는 최근, 과학 연구에서의 부정 행위 조사하는 데에 보상 없이 온 시간을 투자하기로 결정하였습니다.
1년 간 일을 쉬면서 연구 부정 행위를 조사하는 자원 활동에 더 집중하기로 하였습니다. 과학계에서 이미지 중복, 표절, 결과 조작 그리고 약탈적 출판 저널에 대한 조사가 더 필요합니다.
— Elisabeth Bik (@MicrobiomDigest) 2019년 4월 26일
비크 박사는 네덜란드 국립 보건원에서 콜레라 연구로 박사 학위를 마쳤습니다. 4년 간 네덜란드의 니우에헤인 성 안토니우스 병원에서 근무한 뒤, 미국으로 옮겨와 스탠포드 의과대학에서 15년 동안 미생물군집(microbiome) 연구에 힘썼습니다. 비크 박사는 2014년에 최신 연구를 매일 공유하기 위한 방법으로 블로그 ‘마이크로바이옴 다이제스트’를 시작하였습니다. 조작 이미지 조사로 널리 알려진 비크 박사는 샌프란시스코에 위치한 생명공학 회사 ‘유바이옴(uBiome)’의 편집이사와 정밀 의료 회사 ‘아스타르테 메디컬(Astarte Medical)’의 이사직을 맡고 있습니다. 2019년, 비크 박사는 마이크로바이옴과 과학연구 진실성 자문위원이 되었으며, 문제 이미지를 찾아내고 연구 진실성에 대해 논의하는 데에 시간을 쏟기 시작하였습니다. 박사는 상당한 출판물의 피어 리뷰 경험을 가지고 있으며, 학생이나 연구 보조원들을 교육하거나 멘토링하기 위해 학회나 학교에 연사로 초대되기도 하였습니다. 분자연구 랩을 만들기도 하였고요.
우리는 이 대화에서 비크 박사와 연구 진실성 문제에 천착하게 된 여정에 대해 이야기 나눌 예정입니다. 그리고 과학 연구에서 어떻게 이미지 조작을 찾아내는지, 기술이 연구 진실성을 확인하는 데에 어떤 도움을 줄 수 있는지 듣고자 합니다. 또, 어떻게 피어 리뷰어와 저널이 출판 전에 이미지 조작 사례를 몰아낼 수 있는지 이야기해 보려고 합니다.
어떻게 ‘마이크로바이옴 다이제스트’를 시작할 생각을 하게 되셨습니까? 블로그에 미생물학이나 미생물군집 연구에 대한 페이퍼를 올릴 때 어떤 기준을 적용하시나요?
블로그 ‘마이크로바이옴 다이제스트’에 대한 아이디어는 2014년 5월 스탠포드의 데이비드 렐만(David Relman) 연구실에 있었던 행복한 시간에서 시작되었습니다. 전년도에 저는 펍메드(PubMed)에서 찾은 새로운 자료의 요약본을 매주 연구실 동료들에게 보내주고 있었습니다. 미생물군집 연구는 매우 빠르게 성장하고 있었고, 새로운 자료의 목록은 점점 더 늘어나고 있었습니다. 하루는, 동료 토머 알트만(Tomer Altman)이 다른 연구실에서도 이 자료에 흥미를 가질테니, 이메일이 아니라 모두가 볼 수 있는 웹사이트에 올려야 한다고 제안했습니다. 그날 밤, 저는 MicrobiomeDigest.com 도메인을 구입했고 블로그 활동을 시작했습니다.
2017년도에는 블로그가 제 개인적인 생활에 지장을 주기 시작했고, 트위터를 통해서 자원활동가를 모집했습니다. 이들이 현재 블로그를 운영하고 있는 멋진 팀이지요. 저희는 여전히 매일 포스팅을 하려고 노력합니다. 그리고 다양한 자료를 포함시키려고 하죠. 피어 리뷰를 거친 유명 과학 사이트에 실린 저널과 글들입니다. 주제는 인간과 연관된 미생물군집에 관한 자료에서부터, 토양, 식물, 동물 그리고 건조환경에까지 이릅니다. 또 일반 과학이나 미생물학 그리고 과학과 예술 안의 다른 주제도 포함시키려고 노력합니다.
최근에 출판된 논문 가운데 이미지 조작이나 데이터 위조 사례를 찾아내는 데에 상당한 시간을 들이기로 하는 특별한 결정하셨습니다. 어떤 계기로 “데이터 보안관”이 되기로 결심하셨나요?
과학 연구의 표절에 관한 글을 읽은 것이 연구 진실성 검증 작업의 시작이었습니다. 이후, 신뢰성 높은 논문을 도용하는 표절 행위를 찾기 시작했죠. ‘구글 스칼라’에서 용어를 찾고 얼마나 여러 번 등장하는지 분석하였습니다. 대부분은 문장은 독창적이었지만, 몇 가지 사례에서 원 논문과 새로운 논문에서 같은 표현을 발견했습니다. 문장을 재활용한 것이죠. 저는 80여 건의 박사 논문에서 대량의 표절 문장이 있음을 보고하였습니다.
표절 사례가 포함된 박사 논문을 분석하는 동안, 저는 이들이 다수의 장에서 중복적으로 사용되었으나 다른 방식으로 표현되었음을 확인하였습니다. 이 특정 챕터들은 소논문으로 저널에도 게재되었습니다. 저는 이것을 두 개의 연구로 보고했습니다. 현재는 철회되었지요. 그리고 체계적으로 중복 이미지를 찾기 시작했습니다. 2014년 여름이었습니다. 5년 동안, 주말이나 저녁 등의 여가 시간에 이 조사를 수행했습니다. 공저자인 아투로 카사데발(Arturo Casadevall), 페릭 팽(Ferric Fang)과 함께 2만여 건의 생물의학 분야 논문을 살펴보았고, 이 가운데 800건(4%)이 중복되거나 조작된 연구임을 발견하였습니다. 2016년에 이 연구가 출간되었고요.
그 이후로, 저는 더 많은 연구를 살펴보고 있습니다. 특정 저널이나 연구자에게 집중하거나 다른 이들의 요청에 따라 조사하기도 하지요. 현재까지, 2천여 건의 문제적 연구를 발견하였습니다. 이 연구들을 추적하고, 보고서를 작성하여 출판 관계자, 저널 또는 유관 기관에 보내는 일은 시간도, 노력도 많이 드는 일입니다. 그래서 적어도 1년은 업무를 쉬고 이 일에 온 시간을 집중하기로 올해 초에 결정한 것이지요.
어떻게 과학 논문에서 부정 행위의 사례를 찾아내십니까? 얼마나 어렵지요? 문제를 찾아내면 어떤 행동을 취하시나요?
저는 주로 생물의학 분야의 논문에서 중복 이미지를 조사하는 데에 집중하고 있습니다. 단백질 검사나 현미경 관찰 이미지 또는 사진 등을 살피지요. 이들을 훑은 뒤에 논문의 모든 사진을 기억하고자 합니다. 만약에 어떤 이미지가 비슷해 보이거나 중첩 또는 중복된 패턴으로 보이면, 스크린샷을 만들어 둘을 비교합니다. 컨트라스트 조정을 통해 이미지를 밝게 혹은 어둡게 만들면 어떤 이미지의 경우는 더 선명하게 볼 수도 있습니다만, 중복된 사진을 찾는 최초의 시도에서는 어떤 소프트웨어도 사용하지 않습니다.
가장 흔히 마주하게 되는 부정 행위는 특수 단백질 검출 검사(Western blots)에서 입니다. 액틴(actin)이나 글로빈(globin) 같은 단백질의 검출 결과가 서로 다른 실험에서 여러 번 사용되는 것입니다. 또 다른 매우 흔한 문제는 현미경 이미지를 중첩시키는 겁니다. 서로 다른 실험에서 재현된 다수의 사진 일부를 중첩되도록 하는 것이죠. 만약 두 장의 사진이 중첩되었다면, 단 하나가 원본 샘플로 사용되었다는 것이고, 실험 중 하나는 이루어지지 않았다는 것이지요.
중첩과 조작의 유형을 익히고 인지하는 데에는 시간이 제법 걸렸습니다. 어떤 건 쉬웠지만, 어떤 건 훨씬 어려웠습니다. 물론, 수백 수천 개의 논문을 살피는 것도 꽤 일이었습니다. 특히, 복잡한 수치나 이미지가 포함된 경우에는 말이지요. 아마도 여전히 수많은 중복이나 조작 사례를 놓쳤을 겁니다. 모든 걸 일일이 손수 검토하였거든요. 저를 대신할 소프트웨어가 나오길 간절히 바랍니다! 그렇지만, 문제는 이것이 모두 출간된 연구라는 겁니다. 그러니깐 이 연구들은 모두 이미 연구자들과 편집자 및 출판 관계자들이 검토했다는 거예요. 이 중 일부는 여러 번 인용되기도 했습니다. 이 모든 과정에서 논문을 읽은 사람들이 문제를 인지하지 못했다는 거예요. 그러니까 제가 어떤 중복 사례를 놓쳤을 수는 있겠지만, 제가 찾은 중복 사례들을 다른 분들도 발견하지 못한 거죠.
아마 중복 이미지가 문제라고 인식하지 못한다면, 이를 발견하기는 쉽지 않을 겁니다. 그렇지만 문제가 한 번 지적되면, 다른 분들도 대체로 이 문제를 인식하게 됩니다. 몇 가지 조작이나 중복 사례의 트위터 게시를 통해, 다른 연구자분들의 인식 향상을 도울 수 있으리라 기대합니다. 이분들이 피어 리뷰를 할 때나, 누군가가 중복 이미지를 원고에 사용하려고 할 때 문제 제가를 할 수 있을 테지요.
최근에는 질이 낮은 저널에서 이상한 주장을 담은 논문들이 출간된 것을 발견했습니다. 오픈 액세스 퍼블리싱 모델을 오용하는 새로운 발행자들이 많아지고 있습니다. 이들은 콘텐츠의 질보다는 게재 비용에 더 관심이 많아 보입니다. 이러한 소위 약탈적 출판사와 저널은 과학계를 위협합니다. 피어 리뷰가 이루어진 논문을 발행하는 것처럼 보이지만, 실제 아무런 검토가 이루어지지 않는 겁니다. 일반 독자들이 ‘진짜' 저널과 약탈적 저널을 구분하는 것은 매우 어렵습니다. 그리고 어떤 저자는 자신의 거친 아이디어를 ‘검토 받기’ 위해 특별히 약탈적 저널을 선택하기도 합니다.
연구에서 부정 행위가 발견되었다고 지적할 때, 저자들의 일반적인 반응은 무엇입니까?
조사를 시작한 첫 5년 동안은 직접적으로 저자에게 보고하는 것은 피했습니다. 대신에, 저널이나 기관에 보고했고, 편집자가 저자에게 알리도록 하였습니다. 그러나 최근에는 과학자들이 연구에 관한 피드백을 남길 수 있는 퍼브피어(PubPeer)라는 웹사이트에 (제 실명으로) 등록하여 게재를 시작했습니다. 대부분의 저자들은 이런 포스트에 아무 반응이 없습니다. 웹사이트에서 알람을 보낼텐데 말이죠. 답을 하는 저자들은 대체로 이런 말을 남깁니다. “실수를 지적해주셔서 감사합니다. 수정분을 저널에 보낼 예정입니다만, 이는 논문의 결과에 영향을 미치지는 않습니다.”
또는 제게 개인적인 공격을 하지요. 제가 코멘트를 남긴 한 논문 저자는 제 집 주소를 온라인 상에 포스트하기도 했습니다! 어떤 저자는 저의 이전 고용인이 직면했던 법률상의 문제를 언급하기도 했지요.
출판물이 양적으로 늘어나고 기술이 발전하면서, 많은 저널들이 출판 과정의 일부를 자동화하고 있습니다. 표절 검토나 기본 데이터 분별 등에서 말입니다. 논문 심사와 평가 과정에서의 자동화를 어떻게 보십니까? 확실한 연구 부정 조사 도구가 개발될 수 있다고 생각하시나요? 최상의 연구를 보증하는 기술이 사람을 대체할 수 있을까요?
문장의 중복이나 표절을 조사하는 소프트웨어는 대다수의 과학 저널 출판사에서 사용하고 있고, 상당히 잘 작동합니다. 그러나 허위 결과를 찾아내는 데에는 여전히 인간의 눈이 필요합니다. 예를 들면, 연구 방법, 감사의 말 또는 인용 부분의 문장 유사성은 용인될만 합니다. 정의나 인용구 같은 것 말입니다. 따라서 표절이라 표시된 모든 페이퍼가 필연적으로 “나쁘다”고 할 수는 없습니다.
이미지 중복과 조작에 관한 소프트웨어는 여전히 개발 국면에 있고, 현재 대형 저널에서 사용하고 있는 도구는 없는 것으로 알고 있습니다. 하지만 데이비드 아쿠나(David Acuna) 등이 제시한 바와 같이 매우 괄목할 만한 발전도 있습니다. 저는 이런 도구들이 곧 시장을 점유할 것이라 예상합니다. 여전히 사람을 통한 검토가 필요하지만, 문장 유사성 검사 소프트웨어와 같이 이미지 검사 소프트웨어가 근미래에 출판사와 독립 저널을 위한 훌륭한 도구가 되리라 봅니다.
부정 행위를 뿌리 뽑는 데에 피어 리뷰(또는 리뷰어)가 할 수 있는 역할은 무엇일까요? 데이터나 이미지 조작을 발견하는 팁이 있을까요?
현재는 피어 리뷰가 이미지 부정 조사에 큰 역할을 하고 있지는 못합니다. 대체로, 리뷰어들은 이에 대한 훈련을 받지 않았고, 이를 크게 인식하고 있지 않은 것 같아요. 저의 새로운 블로그인 ‘과학연구 진실성에 관한 다이제스트(Science Integrity Digest)’의 글이나 부정 사례에 관한 트위터 등이, 부디 연구자들이 이러한 유형의 문제를 인식하는 데에 도움이 되기를 기대합니다.
또, 연구 진실성 이슈를 위한 저널의 철저한 조사가 필요합니다. 원고 승인 이후에도 말이지요. 제 우려 중 하나는 저널들이 비(非)학술 기관이나 회사에서 수행한 연구가 특정 ‘아젠다’를 가지고 있는 경우가 있다는 것을 인지하지 않고 있다는 점입니다. 저는 이런 기관(주로 한 명이나 소수 인원으로 구성된 경우가 많습니다)에서 수행한 연구가 공개되지 않은 이해관계의 충돌에 의한 것임을 종종 발견합니다. 이런 부분이 저널들이 더 관심을 기울여야 하는 점이지요.
개인적인 차원에서 블로그 ‘마이크로바이옴 다이제스트’를 운영하는 경험이 어떤 가르침을 주나요?
관련 연구를 하는 많은 이들에게 이 블로그가 도움이 된다고 알고 있습니다. 블로그는 5분 동안 자료를 읽고 동향을 파악하는 아주 쉬운 방법입니다. 때때로 누군가 감사 메모를 남기거나 개인적으로 ’마이크로바이옴 다이제스트’ 팀의 작업에 대해 감사를 표하기도 합니다. 이는 인터넷이 과학자들이 함께하는 얼마나 훌륭한 수단인지 가르쳐 줍니다. 사실 심지어 한 번도 개인적으로 만난 적이 없지만, 저희 블로그는 매일 기사를 포스팅하는 세계 각지의 팀원을 보유하고 있지요.
일을 하지 않거나 블로그에 집중하지 않으실 때는 뭘 하시나요?
당분간 출근하는 일을 하고 있지 않으니까, 하루 종일 집에서 일을 하는데요, 아주 멋집니다. 샌프란시스코 베이에서의 그 긴 출퇴근 시간이 그립지도 않고요! 대부분의 시간은 과학 논문에서 이미지 중복을 찾거나 저널 또는 기관에 이메일을 쓰는 데에 시간을 보냅니다. 지난 몇 달 동안, 부당 연구를 지적하거나 사례 보고를 위해 도움을 요청하는 개인적인 메시지도 제법 받았습니다. 이에 대한 조사를 하는 데에도 시간이 꽤 걸리지요. 그리고 사실 트위터에 너무 많은 시간을 씁니다!
컴퓨터 앞에 있지 않을 때에는 정원에서 시간을 보냅니다. 거기에는 언제나 수리가 필요한 스프링쿨러나 가지치기가 필요한 나무들이 있지요.
비크 박사님, 생각을 공유해 주셔서 감사합니다. 정말 훌륭한 대화 시간이었습니다!
[비크 박사 프로필 사진 저작권: Michel & Co. Photography, San Jose, CA]
