Skip to content
←

Split View: 제출물이 싸지면 평가는 어디로 옮겨가는가 — 덴마크가 구두 방어를 택한 이유

✨ Learn with Quiz
|

제출물이 싸지면 평가는 어디로 옮겨가는가 — 덴마크가 구두 방어를 택한 이유

제출물만 보고는 아무것도 알 수 없게 되었을 때

과제형 채용 전형을 운영해 본 팀이라면 최근 몇 년 사이에 같은 경험을 했을 겁니다. 제출물의 평균 품질이 눈에 띄게 올랐습니다. 구조가 깔끔하고, 테스트가 있고, README도 잘 쓰여 있습니다. 그런데 변별력은 오히려 떨어졌습니다. 위쪽에 몰려 있으니 고를 수가 없습니다.

이건 지원자가 나빠진 문제가 아닙니다. 우리가 재던 것이 무엇이었는지가 드러난 것입니다. 제출물의 품질은 그 사람의 이해도를 재는 대리 지표였습니다. 만드는 비용이 높았기 때문에 품질이 곧 투입과 이해의 증거였던 겁니다. 비용이 떨어지면 그 연결이 끊깁니다. 지표는 그대로인데 재던 것이 사라집니다.

교육 현장에서는 이 문제가 훨씬 더 크고 더 빨리 왔습니다. 그리고 한 나라가 이에 대해 공식적인 답을 내놓았습니다.

덴마크가 실제로 발표한 것

덴마크 교육부가 고등학교 단계의 AI 부정행위에 대한 즉시 조치 묶음을 발표했습니다. 원문에서 확인한 내용만 적습니다.

조치는 세 가지입니다. 첫째, 집에서 작성하는 시험 과제에 구두 방어를 의무화합니다. 특히 매년 큰 규모의 서면 과제를 제출하는 HF 과정 학생 약 9천 명이 그 과제를 구두로 방어하게 됩니다. 둘째, 필기 시험 중에 학생의 화면을 감시하는 도구를 쓰도록 권고하고, 시험 상황뿐 아니라 수업 시간에도 접근 가능한 내용을 거르는 방화벽을 쓰도록 합니다. 셋째, 서면 과제를 통제된 환경인 학교 안에서 수행하도록 권장합니다.

여기에 따라 붙는 요구도 있습니다. 규모가 큰 서면 과제에서는 AI를 사용했는지를 학생이 명확히 밝혀야 하고, 구두 시험 준비 과정에는 AI 접근이 없어야 합니다. 교육부는 관련 학교 단체들과 실행 방안을 협의하겠다고 밝혔고, 교육 부문 전체를 대상으로 한 국가 차원의 AI 전략을 따로 준비하겠다고 덧붙였습니다.

세 가지가 서로 다른 것을 노리고 있습니다

이 묶음이 흥미로운 이유는 셋이 성격이 전혀 다르기 때문입니다.

  • 구두 방어는 평가 대상을 바꿉니다. 글을 평가하지 않고 그 글을 쓴 사람의 이해를 평가합니다.
  • 화면 감시와 방화벽은 부정 자체를 막습니다. 평가 방식은 그대로 두고 통제를 강화합니다.
  • 학교 안에서 쓰게 하기는 조건을 바꿉니다. 무엇을 평가하는지도, 무엇을 막는지도 바꾸지 않고 장소만 옮깁니다.

세 번째에 대해서는 현지 단체들이 이미 조건을 달았습니다. 학교 측 단체와 교사 단체와 학생 단체가 함께 낸 입장문은 이 묶음을 필요하고 건설적인 첫걸음으로 환영하면서도, 이것이 단기 과제만 다룬다는 점을 짚습니다. 그리고 학생 단체 쪽은 학교에서 늘어나는 글쓰기가 학습을 실제로 강화하는 방식으로 설계되어야지 단지 작업을 집에서 학교로 옮기는 데 그쳐서는 안 된다고 밝혔습니다. 이 지적이 정확합니다. 장소를 옮기는 것만으로는 대리 지표 문제가 풀리지 않습니다.

무게중심은 산출물에서 저자성으로 옮겨갑니다

세 조치 중에 구조적으로 가장 큰 변화는 첫 번째입니다. 나머지 둘은 기존 평가를 지키려는 방어이고, 첫 번째만 평가의 대상 자체를 바꿉니다.

논리는 단순합니다. 산출물이 싸지면 산출물의 품질과 저자성이 분리됩니다. 예전에는 좋은 글이 곧 그 글을 쓸 수 있는 사람의 증거였는데, 이제는 아닙니다. 그러면 저자성을 따로 확인해야 하고, 그것을 확인하는 가장 오래되고 가장 단순한 방법이 본인 앞에서 물어보는 것입니다.

말로 하는 평가에는 복제 비용이 없다는 성질이 있습니다. 글은 남이 대신 써 줄 수 있고 복사할 수 있고 미리 준비할 수 있습니다. 그 자리에서의 대답은 그럴 수 없습니다. 이것이 구두 방어가 갑자기 다시 등장한 이유입니다. 새 기술이 아니라 오래된 기술 중 복제가 안 되는 것이기 때문입니다.

구두 방어가 잡아내는 것과 잡아내지 못하는 것

균형을 위해 한계도 적어야 합니다.

구두 방어가 잘 잡아내는 것은 이해의 깊이입니다. 왜 이 방법을 택했는지, 다른 방법은 왜 버렸는지, 여기서 조건을 바꾸면 어떻게 되는지 같은 질문에는 그 결정을 실제로 한 사람만 답할 수 있습니다. 표면을 외운 사람은 두 번째 질문에서 멈춥니다.

반대로 잘 잡아내지 못하는 것도 분명합니다. 말하기 능력과 이해도는 같지 않습니다. 긴장하는 사람, 모국어가 아닌 사람, 생각을 정리해서 말하는 데 시간이 더 필요한 사람이 불리해집니다. 즉 구두 방어는 부정을 걸러내는 대신 다른 종류의 편향을 들여옵니다. 그리고 이 편향은 감시 도구와 달리 눈에 잘 띄지 않습니다.

여기서부터는 제 유추입니다

지금까지는 덴마크 교육부가 발표한 내용이고, 여기서부터는 그 논리를 소프트웨어 일에 옮겨 본 제 생각입니다. 원 자료는 교육 정책에 관한 것이지 채용이나 코드 리뷰에 관한 것이 아닙니다.

옮겨지는 부분은 대리 지표의 논리입니다. 우리도 산출물의 품질을 그 사람의 능력을 재는 대리 지표로 써 왔고, 그 산출물을 만드는 비용이 급격히 떨어졌습니다. 그러니 같은 결론이 따라옵니다. 산출물만 보는 평가는 변별력을 잃고, 저자성 또는 이해를 따로 확인해야 합니다.

옮겨지지 않는 부분도 분명합니다. 학교의 목적은 학생이 그 능력을 갖추게 하는 것이고, 회사의 목적은 일이 되게 하는 것입니다. 학교에서 도구를 쓰고 답을 낸 것은 학습 목표를 우회한 것이지만, 회사에서 도구를 쓰고 문제를 해결한 것은 대개 그냥 일을 잘한 것입니다. 그래서 회사에서 물어야 할 질문은 도구를 썼는지가 아니라 결과를 책임질 수 있는지입니다.

채용 과제와 코드 리뷰에 옮긴다면

이 구분을 지키면서 옮길 수 있는 형태는 이렇습니다.

과제형 전형이라면 과제 자체를 줄이고 그 뒤의 대화를 늘립니다. 제출물에 점수를 매기는 대신 제출물을 대화의 재료로만 씁니다. 물을 것은 여기서 어떤 대안을 검토했고 왜 버렸는지, 이 부분에 어떤 실패 모드가 있는지, 요구사항이 이렇게 바뀌면 어디를 고칠지입니다. 이 질문들은 도구 사용 여부를 묻지 않으면서 이해를 드러냅니다.

코드 리뷰라면 이미 같은 장치가 있습니다. 다만 우리가 그것을 쓰지 않고 있을 뿐입니다. 대부분의 리뷰는 코드에 대한 지적으로 끝나고 작성자의 판단을 묻지 않습니다. 리뷰 코멘트 하나를 늘리는 대신 질문 하나를 넣으면 됩니다. 왜 이 방식인가. 이 답이 나오지 않는 변경은 크기와 무관하게 위험합니다. 누가 썼든 마찬가지입니다.

이 방식의 부수 효과도 적어 두겠습니다. 저자성 확인은 사람의 시간을 씁니다. 서류 심사보다 비쌉니다. 그래서 모든 단계에 넣을 수는 없고, 무엇을 마지막 관문으로 삼을지 정해야 합니다.

감시로 푸는 쪽의 비용

마지막으로 두 번째 조치를 다시 봐야 합니다. 화면 감시와 방화벽은 즉시 효과가 있고 도입이 빠릅니다. 그래서 조직에서 가장 먼저 채택되는 방식이기도 합니다.

감시의 진짜 비용은 장비값이 아니라 두 가지입니다. 하나는 정직한 다수가 매번 부담하는 불편이고, 다른 하나는 그 제도가 보내는 신호입니다. 우리는 여러분을 믿지 않는다는 신호를 매 평가마다 반복하면, 평가받는 쪽의 태도가 바뀝니다. 그리고 감시는 새로운 우회를 부르고 그러면 감시가 다시 강화됩니다.

덴마크의 묶음에서 저는 첫 번째와 두 번째의 비중이 앞으로 어떻게 조정되는지가 볼 만한 지점이라고 생각합니다. 평가 대상을 바꾸는 쪽으로 무게가 실리면 지속 가능하고, 통제를 강화하는 쪽으로 실리면 군비 경쟁이 됩니다. 조직에서 같은 문제를 다룰 때도 같은 갈림길에 섭니다.

정리와 출처

만드는 비용이 떨어지면 만들어진 것으로 사람을 판단할 수 없게 됩니다. 그때 할 수 있는 일은 둘입니다. 만드는 조건을 통제하거나, 판단의 대상을 바꾸거나. 후자가 더 어렵고 더 오래갑니다.

  • 덴마크 교육부 보도자료 — 고등학교 AI 부정행위에 대한 즉시 조치 묶음 — 2026년 8월 6일 발표. 세 가지 조치의 내용, 대상 학생 규모, 협의 계획, 국가 AI 전략 예고를 이 문서에서 확인했습니다.
  • CNN 보도 — 즉시 시행이라는 점, 적용 대상이 후기 중등 교육이라는 점, AI 사용을 명시하도록 한 요구, 구두 시험 준비 과정에서의 AI 차단을 확인했습니다.
  • Danske Gymnasier 등 세 단체의 공동 입장문 — 필요하고 건설적인 첫걸음이라는 평가, 단기 과제만 다룬다는 단서, 학교 안 글쓰기 확대에 대한 학생 단체의 조건을 이 문서에서 확인했습니다.
  • 채용 전형과 코드 리뷰에 관한 뒷부분은 원 자료에 없는 제 유추입니다. 덴마크의 조치는 교육 정책이며 고용 평가에 관한 권고가 아닙니다.

When the Artifact Gets Cheap, Where Does Assessment Move — Why Denmark Chose the Oral Defense

When the Submission Alone Stopped Telling You Anything

Any team that has run take-home hiring assignments has had the same experience over the past few years. The average quality of submissions has visibly risen. The structure is clean, there are tests, the README is well written. And yet the discriminating power has gone down. Everything is bunched at the top, so you cannot choose.

This is not a problem of candidates getting worse. It is a revelation of what we were measuring. The quality of the submission was a proxy metric for that person's understanding. Because the cost of producing it was high, quality was itself evidence of effort and understanding. When the cost falls, that link breaks. The metric stays the same while the thing it measured disappears.

In education this problem arrived much bigger and much faster. And one country has issued an official answer to it.

What Denmark Actually Announced

The Danish Ministry of Education announced a package of immediate measures against AI cheating at the upper secondary level. I write only what I confirmed in the source.

There are three measures. First, an oral defense becomes mandatory for exam assignments written at home. In particular, roughly nine thousand HF programme students who submit a large written assignment every year will defend that assignment orally. Second, tools that monitor students' screens during written exams are recommended, along with firewalls that filter reachable content not only during exams but also during class time. Third, written assignments are encouraged to be carried out inside the school, a controlled environment.

There are attached requirements as well. On large written assignments students must clearly declare whether they used AI, and there must be no AI access during preparation for oral exams. The ministry stated it would consult with the relevant school organizations on how to implement this, and added that it would separately prepare a national AI strategy covering the education sector as a whole.

The Three Measures Target Different Things

What makes this package interesting is that the three are entirely different in character.

  • The oral defense changes what is assessed. It does not assess the writing; it assesses the understanding of the person who wrote it.
  • Screen monitoring and firewalls block the cheating itself. They leave the assessment method alone and tighten control.
  • Doing the work inside the school changes the conditions. It changes neither what is assessed nor what is blocked; it only moves the location.

On the third, local organizations have already attached conditions. A joint statement from the schools organization, the teachers organization, and the students organization welcomes the package as a necessary and constructive first step, while noting that it addresses only the short term. And the students organization side stated that any increase in writing done at school must be designed to genuinely strengthen learning rather than merely relocating the work from home to school. That point is exact. Moving the location alone does not solve the proxy metric problem.

The Center of Gravity Moves from the Artifact to Authorship

Of the three measures, the structurally largest change is the first. The other two are a defense of the existing assessment; only the first changes the object of assessment itself.

The logic is simple. When the artifact gets cheap, the quality of the artifact and authorship come apart. Good writing used to be evidence of a person capable of writing it; now it is not. So authorship has to be confirmed separately, and the oldest and simplest way to confirm it is to ask the person to their face.

Spoken assessment has the property that it has no cost of duplication. Writing can be done by someone else, copied, prepared in advance. An answer given on the spot cannot. This is why the oral defense has suddenly reappeared. Not because it is a new technology but because it is an old technology that cannot be duplicated.

What an Oral Defense Catches and What It Does Not

For balance the limits have to be written down too.

What an oral defense catches well is depth of understanding. Why this approach was chosen, why the alternatives were discarded, what happens if you change a condition here — only the person who actually made those decisions can answer questions like these. Someone who memorized the surface stops at the second question.

What it does not catch is equally clear. Speaking ability and understanding are not the same thing. People who get nervous, people not working in their native language, and people who need more time to organize their thoughts into speech are disadvantaged. That is to say, the oral defense filters out cheating and in exchange brings in a different kind of bias. And unlike surveillance tools, this bias is not easy to see.

From Here On This Is My Extrapolation

Everything up to this point is what the Danish Ministry of Education announced; from here it is my own thinking about moving that logic over to software work. The source material is about education policy, not about hiring or code review.

The part that carries over is the logic of the proxy metric. We too have used the quality of an artifact as a proxy for a person's ability, and the cost of producing that artifact has fallen sharply. So the same conclusion follows. Assessment that looks only at the artifact loses discriminating power, and authorship or understanding has to be confirmed separately.

The part that does not carry over is equally clear. The purpose of school is for the student to acquire the ability; the purpose of a company is to get the work done. Using a tool and producing an answer at school circumvents the learning objective, but using a tool and solving the problem at a company is usually just doing the job well. So the question a company has to ask is not whether tools were used but whether the person can be accountable for the outcome.

If You Move It to Hiring Assignments and Code Review

Keeping that distinction, here is the form the move can take.

For a take-home assignment, shrink the assignment itself and expand the conversation that follows it. Instead of scoring the submission, use the submission purely as material for a conversation. What to ask: which alternatives were considered here and why were they dropped, what failure modes does this part have, where would you change things if the requirements changed like this. These questions reveal understanding without asking whether tools were used.

For code review the same device already exists. We just are not using it. Most reviews end with remarks about the code and never ask about the author's judgment. Instead of adding one more review comment, insert one question. Why this approach? A change for which that answer does not come out is dangerous regardless of its size. The same holds no matter who wrote it.

I will note the side effect of this approach too. Confirming authorship consumes human time. It is more expensive than screening documents. So it cannot go into every stage, and you have to decide which one you make the final gate.

The Cost of Solving It with Surveillance

Finally we have to look again at the second measure. Screen monitoring and firewalls take effect immediately and are quick to deploy. Which is also why they are the approach organizations adopt first.

The real cost of surveillance is not the price of the equipment but two other things. One is the inconvenience the honest majority bears every single time. The other is the signal the system sends. Repeat the signal that we do not trust you at every assessment and the attitude of the people being assessed changes. And surveillance invites new circumvention, which invites more surveillance.

In the Danish package, what I think is worth watching is how the weight between the first and second measures gets adjusted from here. If the weight lands on changing what is assessed, it is sustainable; if it lands on tightening control, it becomes an arms race. Organizations handling the same problem stand at the same fork.

Wrap-Up and Sources

When the cost of making something falls, you can no longer judge a person by what they made. At that point there are two things you can do. Control the conditions of making, or change the object of judgment. The latter is harder and lasts longer.

  • Danish Ministry of Education press release — an immediate package of measures against AI cheating in upper secondary schools — announced on August 6, 2026. I confirmed from this document the content of the three measures, the number of students affected, the consultation plan, and the announced national AI strategy.
  • CNN coverage — I confirmed here that it takes effect immediately, that it applies to upper secondary education, the requirement to declare AI use, and the blocking of AI during preparation for oral exams.
  • Joint statement by Danske Gymnasier and two other organizations — I confirmed from this document the assessment that it is a necessary and constructive first step, the caveat that it addresses only the short term, and the students organization condition on expanding writing inside schools.
  • The later part about hiring processes and code review is my extrapolation and is not in the source material. The Danish measures are education policy and are not a recommendation about employment assessment.