- Published on
AI 코드 리뷰 도구의 마케팅 문구에는 "PR의 80%에 사람 코멘트가 필요 없다" 같은 숫자가 넘치지만, 정작 정밀도와 거짓 양성률을 함께 공개한 곳은 거의 없습니다. 공개된 측정치를 모아 보면 방향은 대체로 일치합니다 — 오픈소스 PR에서 AI 리뷰 코멘트가 실제 코드 변경으로 이어진 비율은 도구에 따라 0.9~19.2%로, 사람 코멘트의 60%에 크게 못 미쳤습니다(Gan 등, 깃허브 액션 16종·저장소 178곳·코멘트 22,326건). 반면 코멘트 해결을 정책으로 강제한 한 기업 사례에서는 같은 지표가 73.8%로 나왔고, 대신 PR 종료 시간이 5시간 52분에서 8시간 20분으로 늘었습니다. 80배 차이는 도구가 아니라 데이터셋과 측정 방식에서 나옵니다. 이 글은 그 숫자들의 조건을 하나씩 뜯어보고, 텐센트의 정적 분석 알람 76%가 거짓 양성이었다는 측정, 구글이 2018년부터 지켜 온 "거짓 양성 10% 넘으면 분석기를 끈다"는 규칙, 그리고 개발자의 "해결함" 라벨조차 정답이 아니라는 후속 연구(LLM 심사의 MCC가 거의 0)를 정리합니다. 결론은 AI 리뷰가 쓸모없다는 것이 아니라, 좁게 설정했을 때만 값을 한다는 것입니다.