이 글에서는 피어 리뷰 이후, 저널의 의사결정에 이르는 일련의 과정(즉, 편집위원이 어떻게 완성된 리뷰를 입수하는지, 어떻게 수집된 리뷰를 따져보고 마지막으로 원고의 게재, 탈락, 혹은 수정본 요청 결정에 이르는지)을 자세히 다루며, 투고된 수정본이 거치는 과정을 살펴보겠습니다.
리뷰 지연에 대응하기
제가 처음 에디터로서 일을 시작할 때 저는 제 노력의 상당 부분이 논문에 대한 리뷰들을 검토하고, 이들을 통합하여 세심히 심사숙고한 결정을 내리고, 그 근거를 마련하는 데 집중될 것이라고 상상하였습니다. 하지만 제 업무에서 이러한 부분은 생각했던 것보다 그 비중이 훨씬 덜한 것으로 나타났습니다.
실로 편집위원 활동의 대부분은 리뷰를 제공하기로 하고 그 약속을 이행하지 않는 리뷰어들을 상대하는 데 있는 듯합니다! 여기에는 리뷰어에게 약속을 상기시키고, 회유하고, 심지어 가끔은 위협하는 일이 따릅니다. 이상적인 상황에서 리뷰어는 할당된 시간 내 (통상 6주에서 한두 달) 자신의 업무를 수행하고 주의 깊은 숙고를 거쳐 명확히 표현된 리뷰를 전달합니다. 실제로 대부분의 리뷰어는 이러한 점에서 훌륭하게 자신의 업무를 수행하고 있으며, 그들에게 진심으로 고마운 마음을 갖고 있습니다.
하지만 이러한 흐름을 따르지 않는 사례도 많이 있으며, 이 경우 좀 더 적극적인 개입이 요구됩니다. 몇몇 저널들은 각각의 리뷰에 (편집위원이 설정 가능한) 리뷰 마감 기한을 주고, 마감 기한이 다가오거나 기한이 지나면, 자동으로 리뷰어에게 리마인더를 발송하기도 합니다. 추가로 저는 마감기한이 다가올 때쯤 리뷰어에게 따로 개인적인 리마인더를 발송합니다. 이러한 개인 메일이 자동 메시지보다 무시하기 어렵기 때문이죠.
자세한 통계 자료가 있지는 않지만, 많은 수의 리뷰가 제 시간에 도착하는 한편, 또한 애석하게도 상당 수의 리뷰가 늦게 도착하는 것이 사실입니다. 리뷰가 조금 늦는 것은 용인할 만하지만, 지연 기간이 한 주가 넘으면 문제가 되기 시작합니다. 많은 저널은 투고 논문의 적합성 여부 판정 기간(turnaround time)을 단축하고자 힘쓰고 있으며, 리뷰 지연은 이러한 목표를 이루는데 가장 큰 걸림돌이 되고 있습니다.
이 경우 저는 어떤 리뷰가 지연되고 있는지 주시하고 있어야 하며, 리뷰어에게 리마인더를 보내 약속을 지키고 리뷰를 전해달라고 요청해야 합니다. 하지만 제가 리뷰어에게 가할 수 있는 압박에는 한계가 있습니다. 심사 요청에 점점 하소연을 늘리거나, 계속된 지연으로 인한 불만과 괴로움을 표하기도 하고, 리뷰어의 죄책감이나 후회를 유발해보기도 합니다. 하지만 리뷰를 지연하는 리뷰어에게 제가 직접 취할 수 있는 조치는 거의 없습니다. 끈기만이 저의 유일한 무기인 셈이죠. 이미 입수한 리뷰만으로 충분히 결정을 내릴 수 있었던 경우, 리뷰 받기를 포기한 적도 몇 번 있습니다.
리뷰의 질 검토하기
리뷰를 받으면 먼저 주의 깊게 리뷰를 읽어보고, 리뷰에 명백한 문제점이 있지 않은지 확인합니다. 리뷰에 문제가 있는 경우는 매우 드물지만, 간혹 리뷰어의 기준이 (너무 혹독하거나 혹은 너무 관대하여) 저널의 기준과 맞지 않거나, 권고 결과가 리뷰 내용이 일치하지 않는 경우(예를 들어, 여러 중대한 결함을 지적하고 '게재 승인' 권고를 한 경우)가 있습니다.
수정이 필요한 부분을 명확히 하고, 논의를 최대한 객관적으로 유지함으로써 리뷰가 개선될 수도 있습니다. 따라서 편집위원은 리뷰어에게 리뷰를 수정하거나 좀 더 자세히 상술해달라고 요청하기도 합니다. 드물게는 리뷰어들의 평가가 서로 극명히 엇갈리는 경우가 있습니다. 이러한 의견 불일치는 보통 편집위원의 주관과 중재 하에 이메일 논의를 통해 해결합니다.
최종 권고(final recommendation) 결정하기
논문에 대한 충분한 리뷰가 수집되면, 편집자 스스로 권고에 대한 결정을 내리는 단계가 됩니다. 일반적으로 리뷰의 건수는 3건 정도이며 그 이하 또는 그 이상이 될 수도 있습니다. 두 건의 리뷰, 또는 한 건의 리뷰가 게재 불가를 권고한다면, 저는 이를 기반으로 보통 논문 게재 불가를 권고하게 됩니다.
긍정적인 권고를 내리기 위해서는, 리뷰 결과가 만장일치로 통일되지 않는다 하더라도, 세 건의 리뷰는 확보하려는 편입니다. 네 건의 리뷰를 수집하는 것이 합리적이며(한 명의 리뷰어가 리뷰를 제출하지 않을 때를 대비한 보험 역할), 다섯 건 이상의 리뷰를 수집하는 것은 논문 선별에 굉장히 까다로운 저널을 제외한다면 흔치 않은 경우입니다.
대개 권고에 대한 결정은 상당히 신속히 내려집니다. 리뷰어들은 대체로 투고 논문의 질과 흥미도에 대해 일반적 수준의 일치된 의견을 내놓습니다. 저널의 기준에 따라 일종의 표준화가 필요하지만, 일반적으로 리뷰어들의 코멘트와 점수를 따져보고 권고에 이르는 과정은 상당히 빨리 진행됩니다. 이 과정은 전적으로 수집된 리뷰에 의해 견인되며, 이 시점에서 논문에 대한 편집자 자신의 의견은 거의 아무런 영향력이 없습니다.
이 단계에서 수행하는 첫 번째 질문은 양자택일의 문제로, 이 논문이 저널에 출판될 가능성이 있는가, 이 논문에 충분한 잠재력과 흥미가 있는가를 판단해봅니다. 만약 아니라면 권고는 '게재 불가'가 됩니다. 이 권고에는 게재 불가 사유가 요약된 타당한 근거가 덧붙여집니다.
저는 이러한 권고를 내리게 된 주요 사유를 리뷰에서 찾습니다. 투고 논문이 궁극적으로 고려 범위 밖에 있다고 판단한 것인지, 혹은 이 저널의 수준에 못 미친 것인지에 따라, 다른 저널에 투고하라는 격려를 포함하기도 하고, 그렇지 않기도 합니다.
저자는 게재 불가 판정에 대해 편집위원 또는 편집위원장에게 항의할 수 있지만, 심각한 부당함의 증거가 없다면 결과는 쉽게 바뀌지 않습니다. 종종 탈락한 논문을 수정하여, 같은 저널에 재투고하기도 합니다. 대부분 저널은 이러한 재투고를 판별하고, 이러한 논문은 즉각 탈락시키거나 동일한 편집자에게 다시 할당합니다.
만일 논문이 탈락하지 않는다면 '(현 상태로) 게재 승인', '일부 수정(minor revision)', '대폭 수정(major revision)', 이렇게 세 가지 권고가 가능합니다. 이러한 명칭의 정확한 의미는 저널에 따라 다르지만, 대략 '대폭 수정' 요청에 따라 재수정된 원고는 같은 리뷰어에게 발송되어 의견을 구하게 되고, '일부 수정'된 원고는 편집위원에 의해 검토되며, '게재 승인'의 경우는 곧바로 출판을 기다리게 됩니다.
하지만 편집위원은 폭넓은 자유재량을 갖고 있습니다. '일부 수정' 원고를 리뷰어에게 발송할 수도 있고, '대폭 수정' 원고를 1차 리뷰어 중 일부에게만 보내거나 추가된 새로운 리뷰어에게 보낼 수도 있습니다. 발생할 수 있는 모든 상황을 이 글에 나열하지는 않겠으나, 기본적인 상황은 이와 같습니다.
'(현 상태로) 게재 승인'을 권고를 하기 전에는 이 논문이 저널 게재에 충분한 기여를 갖고 있다고 스스로 확신하고자 합니다. 리뷰에 주목할만한 의문점이나 우려가 있는 경우, 게재를 권고하기 전에 이러한 문제가 적절히 해결되었음을 확실히 하고자 합니다. 이러한 부분은 (수정 원고나 커버레터 또는 수정 항목을 기초로 이를 1차 리뷰와 비교하여) 스스로 확인할 수도 있고, 이러한 의문점들에 관해 1차 리뷰어들의 의견을 구할 수도 있습니다.
권고(recommendation)와 결정(decision)의 차이
여러분은 편집자가 '권고'를 하는 것이지 '결정'을 내리는 것이 아니라는 것을 눈치채셨을 것입니다. 이 용어는 의도적으로 구분된 것입니다. 결정을 내리는 것은 편집장이며, 편집자는 단지 결과를 권고합니다. 비밀을 하나 말하자면, 저는 편집장의 결정이 편집자의 권고를 따르지 않는 경우를 (물론 발생할 수 있으나) 본 적이 없습니다.
이것이 심사 절차에 대해 생각해보는 유용한 방식이며, 편집자는 저자와 편집장 모두에게 권고의 타당성을 입증해야 한다는 사실을 상기시켜 줍니다. 편집자는 기분에 휘둘려 결정을 내리는 것이 아닙니다. 일단 편집장에게 논문에 대한 권고를 제출하면, 편집자는 (당장의) 할 일을 끝냈다며 한숨을 돌립니다.
수정이 필요한 논문은 어떻게 진행되는가
수정본에 대해서는 리뷰어를 선정하고, 리뷰를 받고, 권고를 내리는 모든 과정이 다시 시작됩니다. 편집자는 대개 같은 리뷰어들을 초청하지만, 새로운 리뷰어를 (새로운 투입이 필요한 경우) 추가할 수도 있고, 기존 리뷰어 중 몇 명을 (예를 들면 수정 전 논문에 완전히 만족한 리뷰어) 뺄 수도 있습니다.
수정은 여러 차례 거듭될 수 있으나, 첫 번째 수정 후에도 주요한 문제점들이 남아있다면 탈락으로 이어지는 것이 일반적입니다. 일단 게재 불가 또는 게재 승인 권고가 결정되면, 편집자가 논문에 관여하는 일도 끝이 납니다.
이 글은 “What does an Associate Editor actually do?”의 제목으로 ACM의 Special Interest Group On Management of Data 웹사이트에 발행된 기사의 수정본입니다. 이 글은 저자의 동의를 받아 수정하여 재발행된 시리즈 기사입니다.
