가짜 저자 논문이 구두 발표로 채택됐다 — AI 시대 피어리뷰의 시스템 실패 분석

• 들어가며 — 22편 중 15편, 그리고 구두 발표 두 편
• 무엇이 실제로 발견됐나 — 실재하는 논문에 실재하지 않는 저자
• 확인된 것과 한 사람의 증언인 것
• 숫자로 본 오염의 규모
• 리뷰 파이프라인은 왜 이걸 못 걸러내나
• 리뷰어 쪽의 LLM — ICML의 워터마크가 잡은 것과 놓친 것
• 제안된 무결성 장치들과 각각의 한계
• 마치며 — 탐지는 이미 자동화됐고, 결정만 자동화되지 않았다

들어가며 — 22편 중 15편, 그리고 구두 발표 두 편

2026년 7월 30일, Caleb Robinson과 Isaac Corley가 Q&A from the slop trenches라는 글을 올렸습니다. 두 사람이 이번 여름에 리뷰를 맡은 학회 투고는 합해서 22편이었고, 그중 15편(68%)에 조작된 인용, 실재하는 논문에 붙은 가짜 저자 목록, 또는 명백한 LLM 생성 흔적이 있었습니다. 배정 내역은 NeurIPS(Datasets and Benchmarks 트랙, Position Paper 트랙), WACV, 그리고 ECCV 워크숍인 TerraBytes로 나뉩니다. 개인별로는 Caleb이 11편 중 6편, Isaac이 11편 중 9편이었습니다.

Hacker News에는 이 글이 "I flagged two research papers for fake authors and both were accepted as orals"라는 제목으로 올라와 248점을 받았습니다. 제목이 가리키는 대목은 Isaac의 답변 한 문단입니다. 그는 개인적으로 아는 연구자들의 논문이 인용됐는데 저자 이름만 가상의 인물로 바뀐 투고를 두 편 발견했고, 리젝트를 권고한 뒤 조직위에 직접 신고했습니다. 두 편 모두 "환각 참고문헌만 고치라"는 조건으로 구두 발표에 채택됐습니다.

이 사건을 개인의 부정행위 이야기로 읽으면 얻을 게 별로 없습니다. 흥미로운 것은 시스템 쪽입니다 — 탐지는 성공했고, 신고 경로는 작동했고, 그런데도 결과가 뒤집히지 않았습니다. 이 글은 그 경로의 어느 지점에서 신호가 소실되는지를 따라갑니다.

무엇이 실제로 발견됐나 — 실재하는 논문에 실재하지 않는 저자

가장 잡기 어려운 유형은 통째로 지어낸 참고문헌이 아닙니다. 제목도 학회도 다른 공저자도 전부 실재하는데 저자 한둘만 그럴듯한 가짜 이름으로 바뀐 항목입니다. Caleb이 든 예가 정확히 그 모양입니다. 어느 WACV 투고가 SatMAE 논문의 저자를 "Yuyang Cong, Saurabh Khanna, Chen Meng"으로 적었는데, 실제 저자 목록은 Yezhen Cong, Samar Khanna, Chenlin Meng으로 시작합니다(arXiv:2207.08051).

# 참고문헌 한 항목을 검증할 때 실제로 비교해야 하는 필드
투고본에 인쇄된 값:
  Cong, Yuyang; Khanna, Saurabh; Meng, Chen; et al.
  "SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery"

등록기관(arXiv:2207.08051)의 레코드:
  Cong, Yezhen; Khanna, Samar; Meng, Chenlin; et al.
  같은 제목, 같은 연도, 같은 식별자

# 제목이나 DOI 존재 여부만 확인하는 검사는 이 항목을 통과시킨다.
# 저자 목록 전체를 필드 단위로 diff해야 잡힌다.

이 차이가 중요한 이유는 자동 검증 도구의 설계 요구사항이 여기서 갈리기 때문입니다. "이 참고문헌이 실재하는가"를 묻는 검사는 통과시키고, "인쇄된 값과 등록기관 레코드가 일치하는가"를 묻는 검사만 잡아냅니다. 두 저자가 함께 공개한 bib-audit이 후자를 자동화합니다 — 모든 항목을 Crossref, arXiv, DataCite, Semantic Scholar에 조회한 뒤 저자 목록 전체를 포함해 필드 단위로 diff하고, 존재하지 않는 인용부터 순서대로 보고합니다. DOI나 arXiv ID가 없어 제목으로만 대조할 수 있는 항목은 단정하지 않고 "손으로 확인하라"는 자문 경고로 돌려줍니다.

또 하나 눈여겨볼 대목은 두 사람이 리뷰에 권고한 표현입니다. 동기를 단정하지 말고 관찰만 보고하라는 것 — "arXiv 레코드의 제1저자는 Yuyang Cong이 아니라 Yezhen Cong입니다"라고 적고 판단은 편집자에게 넘기라는 조언입니다. 실무적으로 옳은 태도입니다. 리뷰어는 조작을 증명할 위치에 있지 않고, 증명하려 들면 리뷰가 논쟁으로 바뀝니다.

확인된 것과 한 사람의 증언인 것

여기서 분명히 해둘 것이 있습니다. 위 글은 리뷰어 두 명의 1인칭 기록이고, 저는 학회 측의 확인을 찾지 못했습니다. 구체적으로 이렇습니다.

검증 가능한 것: 22편이라는 배정 규모와 15편이라는 발견 건수는 글에 표로 공개돼 있습니다. SatMAE 저자 목록 불일치는 arXiv 레코드와 대조하면 누구나 확인할 수 있습니다. bib-audit는 공개 저장소에 MIT 라이선스로 올라와 있습니다. 글이 인용한 외부 연구들(뒤에서 다룹니다)도 각각 원문이 있습니다.

확인되지 않은 것: "가짜 저자를 신고했는데 두 편 다 구두 발표로 채택됐다"는 대목은 전적으로 Isaac의 진술입니다. 어느 학회였는지 글에 적혀 있지 않습니다. 그의 배정 내역은 NeurIPS Position 2편, TerraBytes 5편, WACV 4편이므로 구두 발표 슬롯이 있는 워크숍이나 WACV 쪽일 가능성이 높지만, 이건 제 추론이지 사실이 아닙니다. 조직위가 어떤 절차로 결정했는지, 신고가 윤리 담당자에게 전달됐는지, 최종 결정권자가 무엇을 봤는지는 공개되지 않았습니다. 논문이 특정되지 않았으므로 반론도 존재하지 않습니다.

이 구분을 하는 이유는 신중함 때문만은 아닙니다. 시스템 분석에서 정확히 이 지점이 실패 지점 후보이기 때문입니다 — 리뷰어의 신고가 최종 결정에 반영됐는지 여부를, 외부에서도 리뷰어 본인도 알 수 없다는 것 자체가 파이프라인의 관측 가능성 문제입니다.

숫자로 본 오염의 규모

한 사람의 경험이 대표성이 있는지 확인하려면 다른 관측이 필요합니다. 위 글이 정리한 최근 1년치 측정을 원문 기준으로 옮기면 이렇습니다.

위 표의 출처는 전부 원 글이 인용한 것을 따라간 것이며, 링크가 붙지 않은 항목은 제가 원문을 직접 열어 보지 못한 것들입니다. 인용 관계는 원 글의 참고문헌 목록에서 확인할 수 있습니다.

Ansari의 분류 체계가 특히 실무에 유용합니다. 100건을 유형별로 나누면 완전 조작 66%, 부분 속성 오염 27%, 식별자 하이재킹 4%, 플레이스홀더 2%, 의미 환각 1%인데, 100건 전부가 복합 실패였습니다. 즉 "존재하지 않는 논문"이 단독으로 나타나는 경우는 없고, 대개 의미 환각(63%)이나 식별자 하이재킹(29%)이 함께 붙어 그럴듯함을 만들어 냅니다. 논문 단위 분포도 이봉형입니다 — 92%가 1~2건, 8%가 4~13건. 앞쪽은 부주의, 뒤쪽은 통째 생성으로 읽는 게 자연스럽습니다.

리뷰 파이프라인은 왜 이걸 못 걸러내나

세 가지 압력이 겹칩니다.

첫째는 제출량입니다. AAAI 2027이 초록 제출 48,000건을 받았다는 사실이 위 글에 언급돼 있습니다. 채택 논문의 1퍼센트가 오염돼 있다는 Ansari의 수치는 절대 건수로 보면 학회 하나당 수십 편입니다. 이 규모에서 데스크 리젝트를 사람 손으로 하는 것은 불가능하고, 실제로 지금은 리뷰어들이 데스크 리젝트를 크라우드소싱으로 대신하고 있습니다. Isaac이 정확히 그렇게 표현합니다 — 선의로 남아 있는 리뷰어들에게 공정한 시간 사용이 아니라는 것입니다.

둘째는 상호 리뷰 의무입니다. 투고하려면 4~5편을 리뷰해야 하는 제도는 리뷰어 공급을 제출량에 자동으로 연동시킵니다. 대신 리뷰의 동기가 "이 분야를 읽고 싶다"에서 "내 논문을 심사받기 위한 통행료"로 바뀝니다. ICML 2026의 리뷰 FAQ를 보면 목표 부하가 리뷰어당 5~6편이고 2026년에는 부하 경감을 허용하지 않았습니다. 대신 리버털 시작 시점에 제출물의 99% 이상이 최소 3개의 리뷰를 받았습니다. 커버리지는 확보되지만, 커버리지와 주의력은 다른 물건입니다.

셋째는 결정 단계의 정보 손실입니다. 리뷰어가 "참고문헌이 조작됐다"고 적으면, 영역 의장은 그것을 여러 축 중 하나로 받습니다. 새로움, 실험, 명료성, 그리고 무결성 플래그가 같은 평면에 놓이면 나머지 점수가 높을 때 무결성 플래그는 "고칠 수 있는 결함"으로 흡수됩니다. "환각 참고문헌만 고치면 된다"는 조건부 채택이 나오는 구조가 이것입니다. 무결성은 점수 축이 아니라 게이트여야 하는데, 대부분의 리뷰 폼에는 게이트가 없습니다.

리뷰어 쪽의 LLM — ICML의 워터마크가 잡은 것과 놓친 것

투고만 오염되는 게 아닙니다. Pangram의 ICLR 2026 리뷰 분석은 리뷰의 21%가 전면 AI 생성이라고 보고했고, Gartenberg et al.(2026)은 Organization Science 저널에서 ChatGPT 이후 제출이 42% 증가했으며 리뷰의 30% 이상이 어떤 형태로든 AI를 쓴다고 측정했습니다.

ICML 2026이 여기에 대응한 방식이 기술적으로 볼 만합니다. 제출된 모든 PDF에 사람 눈에는 보이지 않고 LLM에만 읽히는 지시문을 심었습니다. 지시문은 약 170,000개 구절 사전에서 무작위로 뽑은 두 구절을 리뷰에 넣으라고 지시합니다. 두 구절이 우연히 함께 나타날 확률은 100억분의 1보다 작고, 플래그된 모든 사례를 사람이 직접 검사해 "리뷰어가 워터마크의 존재를 언급한 것뿐"인 경우를 걸러냈으며, 그 결과 family-wise error rate는 0.0001입니다. 마감 전 실험에서 대부분의 모델에 대해 탐지율은 80%를 넘었습니다.

결과는 리뷰 795건, 리뷰어 506명, 그리고 상호 리뷰 의무를 위반한 398명으로 인해 497편의 데스크 리젝트였습니다. 탐지된 위반자의 10%인 51명은 자기 리뷰의 절반 이상이 삭제됐습니다.

한계도 조직위가 직접 적어 두었습니다. 이 기법은 PDF 전체를 LLM에 통째로 넣고 출력을 복사해 붙인 사람만 잡습니다. 텍스트를 발췌해 넣거나, 출력을 손보거나, 로컬 모델을 쓰면 걸리지 않습니다. 다시 말해 795건은 하한선이고, 정직한 실수와 정교한 위반을 구분하지 못합니다.

그리고 더 나쁜 소식이 있습니다. Li et al.(2026)은 논문의 과학적 내용과 전달 방식을 바꾸지 않고 초록만 적대적으로 재작성해도 AI 리뷰 결과가 개선된다는 것을 보였습니다. 리뷰 모델이 무엇인지 모르는 상태에서도 가장 강한 공격이 약 38% 확률로 성공했고, 10점 척도에서 Gemini 3 Flash 리뷰어의 점수를 1.31점, GPT 5.4 Mini 리뷰어의 점수를 0.88점 끌어올렸습니다. 리뷰 쪽이 자동화될수록 게임 가능해진다는 뜻입니다.

제안된 무결성 장치들과 각각의 한계

지금 실제로 굴러가고 있는 장치는 네 종류입니다.

제출 시점 자동 인용 검증. Ansari가 권고하고 bib-audit가 구현한 방향입니다. 등록기관 대조는 기계적이고 자동화 가능하며, 저자가 투고 전에 CI 게이트로 돌릴 수 있습니다. 잡는 것은 인용의 사실성뿐이고, 실험이나 본문의 조작은 손대지 못합니다.

캠퍼레디 단계 데스크 리젝트. ACL 2026이 실제로 집행했습니다. ACL의 성명에 따르면 존재하지 않는 문헌을 인용한 채택 논문 100편 이상을 데스크 리젝트했고, 자동 시스템이 캠퍼레디본에서 의심 항목을 표시한 뒤 프로그램 의장과 수석 영역 의장이 사람 눈으로 "참고문헌이 실재하지 않음"을 확인하는 2단계였습니다. 성명은 인용을 "저작물 사이의 관계에 대한 형식적 주장"으로 규정하고, 그 관계가 조작되면 문서 전체와 학술 기록의 무결성이 훼손된다고 못박습니다. 다만 같은 성명에 갱신 사항이 붙어 있습니다 — ACL 집행부 회의에서 해당 논문들이 통상적인 재투고 절차를 밟도록 결정됐다는 것입니다. 처벌이 아니라 되돌리기입니다.

리뷰어 LLM 사용 탐지와 제재. ICML의 워터마크가 대표적이고, 정책 문언은 학회마다 다릅니다. 원 글이 인용한 ECCV 2026의 리뷰 정책은 로컬이든 API든 LLM으로 리뷰나 메타리뷰를 작성하는 것을 금지하고, 투고물의 상당 부분을 LLM에 공유하는 것도 별도로 금지합니다. WACV의 리뷰어 가이드라인은 LLM 생성 리뷰를 "매우 무책임한 행동"으로 규정하고 리뷰어 본인 논문의 데스크 리젝트로 제재할 수 있게 했습니다. 여기서 실무적으로 곤란한 점이 하나 생깁니다 — bib-audit 같은 검증 도구조차 투고물의 일부를 호스팅 LLM에 보내므로, 리뷰어가 쓰기 전에 해당 학회의 정책을 확인해야 합니다. 무결성 도구와 기밀 유지 규정이 정면으로 부딪칩니다.

AI 보조 리뷰의 통제된 실험. NeurIPS 2026은 금지 대신 측정을 택했습니다. 참여 리뷰어를 논문별로 세 조건 중 하나에 무작위 배정합니다 — LLM 없음, 자유로운 LLM 보조, 구조화된 LLM 보조. 인터페이스는 OpenReview에 통합되고, 저자가 실험 참여에 동의한 논문에만 적용됩니다. 리뷰가 끝나면 조건을 모르는 영역 의장이 리뷰 품질을 평가합니다. 이 실험을 제외한 모든 LLM 사용은 무결성 정책 위반으로 데스크 리젝트 대상입니다. 개인적으로 이게 가장 정직한 접근이라고 봅니다 — 금지는 집행이 안 되고, 방치는 신호를 파괴하니, 어떤 형태의 보조가 리뷰 품질을 실제로 높이는지를 데이터로 확정하겠다는 것입니다.

여기에 익명성 재조정이 더해집니다. ICLR은 OpenReview에서 저자 이름을 공개하기 시작했습니다. 저비용 대량 투고의 평판 비용을 올리는 조치지만, 동시에 이중 익명 심사가 막으려던 편향이 돌아옵니다. 공짜 교환은 없습니다.

마치며 — 탐지는 이미 자동화됐고, 결정만 자동화되지 않았다

이 사건에서 실패한 것은 탐지가 아닙니다. 리뷰어는 가짜 저자를 찾아냈고, 리젝트를 권고했고, 조직위에 직접 알렸습니다. 신호는 정확했고 제때 도착했습니다. 그런데도 결과가 바뀌지 않았습니다.

세 가지가 남습니다.

• 무결성은 점수 축이 아니라 게이트여야 합니다. 새로움·실험·명료성과 같은 평면에 놓이는 순간, 나머지가 좋으면 흡수됩니다. ACL이 캠퍼레디 단계에서 100편 이상을 데스크 리젝트한 것은 늦게라도 게이트를 만든 사례입니다.
• 기계적인 검사는 기계에 맡기고, 리뷰어의 시간은 과학에 씁니다. 참고문헌을 등록기관과 필드 단위로 대조하는 일은 자동화 가능하고, 제출 전 CI 게이트로 옮길 수 있습니다. 지금은 그 일을 무보수 리뷰어가 사후에 하고 있습니다.
• 한 사람의 증언과 학회의 확인을 섞지 않는 편이 낫습니다. 이 글의 핵심 일화는 아직 어느 학회도 확인하지 않았고, 논문도 특정되지 않았습니다. 그 미확인 상태 자체가 지적할 만한 문제입니다 — 리뷰어가 올린 무결성 신고가 최종 결정에 어떻게 반영됐는지 아무도 볼 수 없다면, 신고 경로에는 관측 가능성이 없는 셈입니다.

리뷰 파이프라인은 스팸 필터가 아니라 신뢰 시스템으로 설계됐습니다. 생성 비용이 0에 수렴하는 입력 앞에서, 신뢰를 전제한 시스템이 어떻게 무너지는지를 지금 실시간으로 보고 있는 중입니다.