제출물이 싸지면 평가는 어디로 옮겨가는가 — 덴마크가 구두 방어를 택한 이유

• 제출물만 보고는 아무것도 알 수 없게 되었을 때
• 덴마크가 실제로 발표한 것
• 세 가지가 서로 다른 것을 노리고 있습니다
• 무게중심은 산출물에서 저자성으로 옮겨갑니다
• 구두 방어가 잡아내는 것과 잡아내지 못하는 것
• 여기서부터는 제 유추입니다
• 채용 과제와 코드 리뷰에 옮긴다면
• 감시로 푸는 쪽의 비용
• 정리와 출처

제출물만 보고는 아무것도 알 수 없게 되었을 때

과제형 채용 전형을 운영해 본 팀이라면 최근 몇 년 사이에 같은 경험을 했을 겁니다. 제출물의 평균 품질이 눈에 띄게 올랐습니다. 구조가 깔끔하고, 테스트가 있고, README도 잘 쓰여 있습니다. 그런데 변별력은 오히려 떨어졌습니다. 위쪽에 몰려 있으니 고를 수가 없습니다.

이건 지원자가 나빠진 문제가 아닙니다. 우리가 재던 것이 무엇이었는지가 드러난 것입니다. 제출물의 품질은 그 사람의 이해도를 재는 대리 지표였습니다. 만드는 비용이 높았기 때문에 품질이 곧 투입과 이해의 증거였던 겁니다. 비용이 떨어지면 그 연결이 끊깁니다. 지표는 그대로인데 재던 것이 사라집니다.

교육 현장에서는 이 문제가 훨씬 더 크고 더 빨리 왔습니다. 그리고 한 나라가 이에 대해 공식적인 답을 내놓았습니다.

덴마크가 실제로 발표한 것

덴마크 교육부가 고등학교 단계의 AI 부정행위에 대한 즉시 조치 묶음을 발표했습니다. 원문에서 확인한 내용만 적습니다.

조치는 세 가지입니다. 첫째, 집에서 작성하는 시험 과제에 구두 방어를 의무화합니다. 특히 매년 큰 규모의 서면 과제를 제출하는 HF 과정 학생 약 9천 명이 그 과제를 구두로 방어하게 됩니다. 둘째, 필기 시험 중에 학생의 화면을 감시하는 도구를 쓰도록 권고하고, 시험 상황뿐 아니라 수업 시간에도 접근 가능한 내용을 거르는 방화벽을 쓰도록 합니다. 셋째, 서면 과제를 통제된 환경인 학교 안에서 수행하도록 권장합니다.

여기에 따라 붙는 요구도 있습니다. 규모가 큰 서면 과제에서는 AI를 사용했는지를 학생이 명확히 밝혀야 하고, 구두 시험 준비 과정에는 AI 접근이 없어야 합니다. 교육부는 관련 학교 단체들과 실행 방안을 협의하겠다고 밝혔고, 교육 부문 전체를 대상으로 한 국가 차원의 AI 전략을 따로 준비하겠다고 덧붙였습니다.

세 가지가 서로 다른 것을 노리고 있습니다

이 묶음이 흥미로운 이유는 셋이 성격이 전혀 다르기 때문입니다.

• 구두 방어는 평가 대상을 바꿉니다. 글을 평가하지 않고 그 글을 쓴 사람의 이해를 평가합니다.
• 화면 감시와 방화벽은 부정 자체를 막습니다. 평가 방식은 그대로 두고 통제를 강화합니다.
• 학교 안에서 쓰게 하기는 조건을 바꿉니다. 무엇을 평가하는지도, 무엇을 막는지도 바꾸지 않고 장소만 옮깁니다.

세 번째에 대해서는 현지 단체들이 이미 조건을 달았습니다. 학교 측 단체와 교사 단체와 학생 단체가 함께 낸 입장문은 이 묶음을 필요하고 건설적인 첫걸음으로 환영하면서도, 이것이 단기 과제만 다룬다는 점을 짚습니다. 그리고 학생 단체 쪽은 학교에서 늘어나는 글쓰기가 학습을 실제로 강화하는 방식으로 설계되어야지 단지 작업을 집에서 학교로 옮기는 데 그쳐서는 안 된다고 밝혔습니다. 이 지적이 정확합니다. 장소를 옮기는 것만으로는 대리 지표 문제가 풀리지 않습니다.

무게중심은 산출물에서 저자성으로 옮겨갑니다

세 조치 중에 구조적으로 가장 큰 변화는 첫 번째입니다. 나머지 둘은 기존 평가를 지키려는 방어이고, 첫 번째만 평가의 대상 자체를 바꿉니다.

논리는 단순합니다. 산출물이 싸지면 산출물의 품질과 저자성이 분리됩니다. 예전에는 좋은 글이 곧 그 글을 쓸 수 있는 사람의 증거였는데, 이제는 아닙니다. 그러면 저자성을 따로 확인해야 하고, 그것을 확인하는 가장 오래되고 가장 단순한 방법이 본인 앞에서 물어보는 것입니다.

말로 하는 평가에는 복제 비용이 없다는 성질이 있습니다. 글은 남이 대신 써 줄 수 있고 복사할 수 있고 미리 준비할 수 있습니다. 그 자리에서의 대답은 그럴 수 없습니다. 이것이 구두 방어가 갑자기 다시 등장한 이유입니다. 새 기술이 아니라 오래된 기술 중 복제가 안 되는 것이기 때문입니다.

구두 방어가 잡아내는 것과 잡아내지 못하는 것

균형을 위해 한계도 적어야 합니다.

구두 방어가 잘 잡아내는 것은 이해의 깊이입니다. 왜 이 방법을 택했는지, 다른 방법은 왜 버렸는지, 여기서 조건을 바꾸면 어떻게 되는지 같은 질문에는 그 결정을 실제로 한 사람만 답할 수 있습니다. 표면을 외운 사람은 두 번째 질문에서 멈춥니다.

반대로 잘 잡아내지 못하는 것도 분명합니다. 말하기 능력과 이해도는 같지 않습니다. 긴장하는 사람, 모국어가 아닌 사람, 생각을 정리해서 말하는 데 시간이 더 필요한 사람이 불리해집니다. 즉 구두 방어는 부정을 걸러내는 대신 다른 종류의 편향을 들여옵니다. 그리고 이 편향은 감시 도구와 달리 눈에 잘 띄지 않습니다.

여기서부터는 제 유추입니다

지금까지는 덴마크 교육부가 발표한 내용이고, 여기서부터는 그 논리를 소프트웨어 일에 옮겨 본 제 생각입니다. 원 자료는 교육 정책에 관한 것이지 채용이나 코드 리뷰에 관한 것이 아닙니다.

옮겨지는 부분은 대리 지표의 논리입니다. 우리도 산출물의 품질을 그 사람의 능력을 재는 대리 지표로 써 왔고, 그 산출물을 만드는 비용이 급격히 떨어졌습니다. 그러니 같은 결론이 따라옵니다. 산출물만 보는 평가는 변별력을 잃고, 저자성 또는 이해를 따로 확인해야 합니다.

옮겨지지 않는 부분도 분명합니다. 학교의 목적은 학생이 그 능력을 갖추게 하는 것이고, 회사의 목적은 일이 되게 하는 것입니다. 학교에서 도구를 쓰고 답을 낸 것은 학습 목표를 우회한 것이지만, 회사에서 도구를 쓰고 문제를 해결한 것은 대개 그냥 일을 잘한 것입니다. 그래서 회사에서 물어야 할 질문은 도구를 썼는지가 아니라 결과를 책임질 수 있는지입니다.

채용 과제와 코드 리뷰에 옮긴다면

이 구분을 지키면서 옮길 수 있는 형태는 이렇습니다.

과제형 전형이라면 과제 자체를 줄이고 그 뒤의 대화를 늘립니다. 제출물에 점수를 매기는 대신 제출물을 대화의 재료로만 씁니다. 물을 것은 여기서 어떤 대안을 검토했고 왜 버렸는지, 이 부분에 어떤 실패 모드가 있는지, 요구사항이 이렇게 바뀌면 어디를 고칠지입니다. 이 질문들은 도구 사용 여부를 묻지 않으면서 이해를 드러냅니다.

코드 리뷰라면 이미 같은 장치가 있습니다. 다만 우리가 그것을 쓰지 않고 있을 뿐입니다. 대부분의 리뷰는 코드에 대한 지적으로 끝나고 작성자의 판단을 묻지 않습니다. 리뷰 코멘트 하나를 늘리는 대신 질문 하나를 넣으면 됩니다. 왜 이 방식인가. 이 답이 나오지 않는 변경은 크기와 무관하게 위험합니다. 누가 썼든 마찬가지입니다.

이 방식의 부수 효과도 적어 두겠습니다. 저자성 확인은 사람의 시간을 씁니다. 서류 심사보다 비쌉니다. 그래서 모든 단계에 넣을 수는 없고, 무엇을 마지막 관문으로 삼을지 정해야 합니다.

감시로 푸는 쪽의 비용

마지막으로 두 번째 조치를 다시 봐야 합니다. 화면 감시와 방화벽은 즉시 효과가 있고 도입이 빠릅니다. 그래서 조직에서 가장 먼저 채택되는 방식이기도 합니다.

감시의 진짜 비용은 장비값이 아니라 두 가지입니다. 하나는 정직한 다수가 매번 부담하는 불편이고, 다른 하나는 그 제도가 보내는 신호입니다. 우리는 여러분을 믿지 않는다는 신호를 매 평가마다 반복하면, 평가받는 쪽의 태도가 바뀝니다. 그리고 감시는 새로운 우회를 부르고 그러면 감시가 다시 강화됩니다.

덴마크의 묶음에서 저는 첫 번째와 두 번째의 비중이 앞으로 어떻게 조정되는지가 볼 만한 지점이라고 생각합니다. 평가 대상을 바꾸는 쪽으로 무게가 실리면 지속 가능하고, 통제를 강화하는 쪽으로 실리면 군비 경쟁이 됩니다. 조직에서 같은 문제를 다룰 때도 같은 갈림길에 섭니다.

정리와 출처

만드는 비용이 떨어지면 만들어진 것으로 사람을 판단할 수 없게 됩니다. 그때 할 수 있는 일은 둘입니다. 만드는 조건을 통제하거나, 판단의 대상을 바꾸거나. 후자가 더 어렵고 더 오래갑니다.

• 덴마크 교육부 보도자료 — 고등학교 AI 부정행위에 대한 즉시 조치 묶음 — 2026년 8월 6일 발표. 세 가지 조치의 내용, 대상 학생 규모, 협의 계획, 국가 AI 전략 예고를 이 문서에서 확인했습니다.
• CNN 보도 — 즉시 시행이라는 점, 적용 대상이 후기 중등 교육이라는 점, AI 사용을 명시하도록 한 요구, 구두 시험 준비 과정에서의 AI 차단을 확인했습니다.
• Danske Gymnasier 등 세 단체의 공동 입장문 — 필요하고 건설적인 첫걸음이라는 평가, 단기 과제만 다룬다는 단서, 학교 안 글쓰기 확대에 대한 학생 단체의 조건을 이 문서에서 확인했습니다.
• 채용 전형과 코드 리뷰에 관한 뒷부분은 원 자료에 없는 제 유추입니다. 덴마크의 조치는 교육 정책이며 고용 평가에 관한 권고가 아닙니다.