인공 지능(AI)이라고 하면 어떤 사람들은 의식과 엄청난 지능을 갖고, 인간을 지배하려 하는 컴퓨터를 떠올릴지 모릅니다. 저널에 원고를 투고한 연구자들에게 AI가 원고 평가를 돕는다고 하면 아마 비슷한 반발에 맞닥뜨리게 될 것입니다. “그럴 수는 없죠,” “로봇이 내 원고를 거절할 거라고요?” “다시는 이 저널에 원고를 보내지 않겠어요.”
AI에 대해 내가 제일 좋아하는 말은 AI는 “증강 지능(augmented intelligence)”이라는 것입니다. 인간의 의사 결정을 대체하는 것이 아니라, 증강한다는 뜻입니다. 학술 커뮤니케이션, 특히 원고 평가에 사용되는 AI에 대해 떨쳐 버려야 할 미신이 몇 가지 있습니다. AI가 어떻게 인간의 의사 결정을 도울 수 있는지, 그리고 이런 과정이 어떻게 저자와 리뷰어 모두에게 이롭고, 전체 피어 리뷰 과정을 신속하게 진행할 수 있는지 보여주려고 합니다.
눈길을 끄는 통계는 최근 연구자들의 연구 성과물 규모입니다. 2018년 3백만 건이 넘는 논문이 3만3천 여 저널에 출판되었습니다. 그 승인된 논문 숫자에 2를 곱하면 결과물을 내는 데 필요한 피어 리뷰어의 수에 대해 어느 정도 감이 오실 겁니다. 그리고 승인 논문 수를 30-50% 증가시키면 전체 투고 논문 숫자에 가까워집니다.
게다가 이 숫자는 모두 매년 6-8% 성장하므로, 저널에서 리뷰어를 찾고, 출판 시기를 조절하고, 저널에 적합하지 않은 논문을 식별하기 위해 겪을 어려움을 짐작할 수 있습니다. 한 원고가 투고 시점에서 최종 결정이 날 때까지 거치는 전형적인 과정을 따라가보고 AI가 어떻게 이 과정을 더욱 원활하고, 빠르게, 그리고 즐길 만한 것으로까지 만들어줄 수 있을지 살펴보겠습니다.
투고 과정
원고가 저널에 투고되면 가장 먼저 편집부 직원이 이 원고가 저널에 적합한지 선별합니다. 원고 내용이 저널의 목적과 범위에 부합하는지, 논문 구조(및 논문 유형)이 적절한지, 그리고 논문에 표절 텍스트가 일정량 이상 포함되어 있는지 평가하는 과정입니다. 이 과정은 몇 분이면 끝날 수도 있지만, 대규모 저널에 투고되는 원고가 수천 건에 이르므로 전체적으로 상당한 시간이 소요되리라는 것을 알 수 있습니다.
하지만 문제되는 것은 시간뿐 아니라, 투명성과 일관성 역시 문제가 됩니다. 같은 논문에 대해서도 평가자에 따라 서로 다른 이유로 다른 결정이 내려질 수 있습니다.
이런 면에서 AI 솔루션이 도움이 될 수 있습니다. 원고가 저널에 투고되면 AI를 통해 스마트한 의미론적 방식으로 내용 매치를 합니다. 원고에 기술된 개념을 추출, 저널에 게재된 개념들과 비교하는 도구를 이용하면, 저널 편집인들이 저널과 투고 원고 사이에 내용 매치가 있는지 빠르게 알 수 있습니다.
또한, 선별 프로그램을 통해 각 절 제목을 뽑아내어, 논문 유형이 저널에서 승인할 수 있는 종류인지 결정할 수 있습니다. 마지막으로, 언어 품질을 등급화하여 피어 리뷰어가 연구 완성도를 평가할 수 있는 기준에 도달하는지 확인합니다.
만일 원고가 이러한 시험을 넘지 못하는 경우, 자동화 평가 과정이 맞는지 편집부에서 이중으로 점검합니다. 역시 같은 의견이면, 원고는 데스크에서 거절됩니다. 투고 과정이 이렇게 끝나는 것은 아쉬운 일이겠지만, 적어도 몇 주씩 끌지 않고 빠르면 몇 시간 안에 끝낼 수 있습니다.
리뷰어 찾기
위에 설명했듯이, 저널에서 리뷰어를 찾는 것은 매년 어려워지고 있습니다. 저널에서 필요한 리뷰를 해줄 리뷰어를 찾는 데 도움이 되는 일이라면 뭐든 환영입니다. 여기서 AI가 또 활약합니다. 이전에 비슷한 주제로 출판했던 저자들을 찾아 리뷰어로 제안해줍니다. 시스템은 저자 명단과 감사의 말에 언급된 이름들을 모두 확인하여, 공동 저자를 리뷰어로 초청하지 않도록 합니다.
리뷰어를 찾는 일은 지난한 과정으로, 원고 출판에서 가장 많은 시간을 차지하는 과정이기도 합니다. AI가 이 과정을 가속화할 수 있다면 마땅히 환영할 일입니다.
피어 리뷰 과정
원고 리뷰에 동의한 피어 리뷰어들은 소중합니다. 어떻게 좀 더 일을 편하게, 가능하면 즐겁게, 빠르게 마칠 수 있도록 도울 수 있을까요? 우선, 원고 투고 시점에 시행한 다양한 평가 결과를 공유합니다. 공유는 두 가지 이점이 있습니다. 일반적으로 반드시 평가를 해야 하는 기본적인, 다시 말하면 ‘지루한’ 사항들이 이미 평가를 거쳐 OK 사인을 받았음을 재확인해주고, 리뷰어들이 자신의 전문 영역, 즉 원고 내용에 집중할 수 있도록 해줍니다. 리뷰어들이 내용에만 집중함으로써 전체 과정이 단순해지고, 쉬워지고, 최종적으로는 리뷰어가 즐길 만한 일이 되도록 합니다.
AI는 여러 가지로 이용할 수 있지만, 적절하고 윤리적으로 사용되었을 때는 편집 과정에서 인간의 의사 결정을 지원하는 훌륭한 도구가 됩니다. 자세한 내용은 출판사 와 저자들이 피어 리뷰 과정을 신속하게 진행할 수 있도록 캑터스에서 제공하는 다양한 솔루션을 참고하시기 바랍니다.
