필사 모드: 증류로 전이되는 것과 안 되는 것 — DeepSeek을 GPT-OSS에 증류했더니 검열이 따라오지 않았다

• 들어가며 — 147점짜리 Show HN이 실제로 보여 준 것
• 실험 설계를 정확히 옮기면
• 능력은 전이됐다 — 그런데 어떤 능력인가
• 검열은 전이되지 않았다 — 그리고 왜 그게 놀랍지 않은가
• 검열은 세 곳에 산다
• 반대 방향의 증거 — 잠재적 학습과 공유 초기화
• 이 실험 하나가 지지하는 범위, 그리고 실무 규칙
• 마치며 — 증류는 교사를 복사하지 않고, 교사가 말한 것을 복사한다

들어가며 — 147점짜리 Show HN이 실제로 보여 준 것

2026년 7월 30일, Show HN에 올라온 실험이 147점을 받았습니다. CTGT라는 팀이 연구 노트로 공개한 내용은 이렇습니다. 중국 모델인 DeepSeek V4 Flash를 교사로 삼아 미국 오픈 웨이트 모델 GPT-OSS에 금융 추론 능력을 증류했는데, 능력은 올라갔고 교사가 보이던 정치 검열은 학생에게 나타나지 않았다는 것입니다.

이 결론이 관심을 끈 이유는 정책 논쟁과 맞닿아 있기 때문입니다. 중국산 오픈 웨이트 모델이 확산되면 그 안에 담긴 정치적 편향이 파생 모델을 타고 퍼진다는 우려가 꾸준히 제기돼 왔는데, 이 실험은 적어도 한 조건에서 그렇지 않았다고 말합니다.

그런데 이 글의 목적은 그 정책 논쟁이 아닙니다. 여기서 흥미로운 것은 훨씬 오래 갈 질문입니다 — 증류는 정확히 무엇을 복사하는가. 지식 증류가 복사하는 것은 가중치가 아니라 교사가 특정 입력들에서 내놓은 출력입니다. 그렇다면 전이 여부는 세 가지가 정합니다. 무엇을 관찰했는지, 어디서 관찰했는지, 그리고 누구에게 복사하는지. 이 실험은 그 틀을 설명하기 좋은 사례이고, 동시에 비공식 실험 하나가 지지할 수 있는 범위가 어디까지인지 보여 주는 사례이기도 합니다.

실험 설계를 정확히 옮기면

설계에서 가장 잘 만든 부분은 대응 쌍입니다. 대약진운동과 홀로도모르처럼 구조가 같고 한쪽만 중국 관련인 질문을 짝지어 점수 차이를 봅니다. 이렇게 하면 "이 모델은 원래 정치 질문에 조심스럽다"와 "이 모델은 중국 관련 질문만 회피한다"를 분리할 수 있습니다. 절대 점수만 봤다면 나올 수 없는 구분입니다. LLM 심판을 사람 채점 96건으로 캘리브레이션한 것도 이런 종류의 평가에서 흔히 생략되는 단계인데 여기서는 수행했고, 상관 0.948이면 심판 점수를 그대로 쓰기에 충분합니다.

교사 쪽 숫자도 짚고 갈 만합니다. 45.45점 격차에 87%의 쌍에서 일관되게 양수라면, 이건 산발적 회피가 아니라 체계적인 행동입니다. 즉 이 실험은 "교사에게 애초에 검열이 없었다"는 시시한 결론을 배제하고 시작합니다.

능력은 전이됐다 — 그런데 어떤 능력인가

먼저 성공한 쪽부터 봅니다. 금융 추론에서 자기증류 120B가 FinanceReasoning 83.61%를 기록했다고 보고됩니다. 이 숫자 자체는 이 글의 주제가 아니지만, 왜 능력은 잘 전이되는가는 주제입니다.

이유는 증류의 목적 함수에 그대로 적혀 있습니다. 증류는 학생의 출력 분포를 교사의 출력 분포에 맞추도록 직접 최적화합니다. 학습 데이터가 CAPM·DCF·옵션 가격 문제로 채워져 있으면, 최적화되는 것은 정확히 그 문제들에서의 분포입니다. 능력이 잘 옮겨 오는 것이 아니라, 옮겨 오도록 명시적으로 손실 함수에 적혀 있는 것입니다.

방법론에도 이 점이 반영돼 있습니다. 오류가 나는 지점을 찾아 힌트를 넣고 그 이후 100개 토큰 구간에서만 역 KL을 겁니다. 즉 교사의 전체 스타일을 흡수하는 것이 아니라 학생이 틀리는 지점의 국소적 수정만 가져옵니다. 실험 변수도 힌트의 저자 하나뿐입니다. 이 설계는 능력 전이에는 효율적이지만, 동시에 교사의 다른 성향이 넘어올 통로를 아주 좁게 만듭니다. 이 점은 다음 절에서 되돌아옵니다.

검열은 전이되지 않았다 — 그리고 왜 그게 놀랍지 않은가

학생의 검열 격차는 베이스 +0.43, 증류 후 +3.94였습니다. 통계적으로 기준선입니다. 결과는 분명한데, 이 결과가 놀라운지는 별개 문제입니다.

증류 데이터에는 중국 민감 콘텐츠가 0건 들어 있었습니다. 저자들도 이 점을 한계로 명시하면서, 이 실험이 잰 것은 "검열의 부재"이지 "적극적 억제의 실패"가 아니라고 적었습니다. HN 스레드의 지적도 같은 방향이었습니다. 200건도 안 되는 예시로 홀로도모르에 대한 모델의 태도가 바뀔 리 없다는 댓글이 상단에 있었고, 금융 도메인이 검열 행동과 충분히 얽혀 있지 않아 배어 나오지 않은 것이라는 정리도 나왔습니다.

이걸 일반화하면 이렇게 됩니다. 증류로 전이되는 행동은 증류 데이터의 지지집합 안에서 교사가 실제로 드러낸 행동뿐입니다. 교사가 톈안먼 질문에 회피 답변을 하는 모델이더라도, 학습 데이터에 그런 질문이 한 건도 없으면 그 회피는 목표로 제시된 적이 없습니다. 목표로 제시되지 않은 것은 손실에 잡히지 않고, 손실에 잡히지 않은 것은 가중치를 움직이지 않습니다.

반대 방향으로 뒤집으면 훨씬 실무적인 결론이 나옵니다. 안전 정렬도 같은 이유로 전이되지 않습니다. 잘 정렬된 교사에게서 코딩 능력을 증류하면 코딩 능력만 옵니다. 학생이 교사만큼 안전할 것이라고 가정할 근거는 없습니다. 증류 데이터에 안전 관련 프롬프트가 없다면 학생은 자기 베이스 모델의 안전 특성을 그대로 유지할 뿐입니다. 이번 실험의 학생 점수가 베이스와 사실상 같았다는 사실이 정확히 이 명제를 보여 줍니다 — 증류는 학생을 교사 쪽으로 끌어당긴 것이 아니라, 특정 영역에서만 끌어당겼습니다.

검열은 세 곳에 산다

"검열이 전이되는가"라는 질문이 자주 헛도는 이유는, 검열이 한 곳에 있지 않기 때문입니다. 적어도 세 층으로 나눠야 합니다.

• 가중치 밖 (서비스 층). 앱과 웹 인터페이스의 입출력 필터, 시스템 프롬프트, 서버 측 차단 규칙. 이건 가중치에 없으므로 증류는커녕 가중치를 통째로 내려받아도 따라오지 않습니다. 오픈 웨이트 모델을 직접 서빙했을 때와 공식 앱에서 물었을 때 답이 다른 경우가 대부분 여기서 나옵니다.
• 가중치 안, 행동으로 설치된 것. 사후학습에서 특정 주제에 회피 응답을 하도록 형성된 성향입니다. HN 댓글 중 하나가 잘 표현했는데, 대부분의 검열은 지식의 제거가 아니라 지식이 드러나지 않게 하는 행동의 설치입니다. 실제로 거부 행동이 잔차 스트림의 선형 방향으로 표현된다는 연구 계열이 있고, 그 방향을 조작하면 거부를 켜고 끌 수 있다는 결과들이 보고돼 왔습니다. 지식이 사라졌다면 방향 하나를 건드려 되살아날 수 없습니다.
• 사전학습 데이터에 애초에 없던 것. 이건 행동이 아니라 진짜 부재입니다. 정렬 조작으로도 복구되지 않습니다.

이 구분을 하고 나면 이번 실험이 무엇을 건드렸는지 분명해집니다. 학생은 두 번째 층에서 자기 베이스 모델의 상태를 유지했고, 교사의 두 번째 층은 증류 데이터가 그 영역을 밟지 않았기 때문에 목표로 제시된 적이 없습니다. 첫 번째 층은 애초에 API 응답에만 영향을 주므로 논외입니다. 세 번째 층은 이 실험이 다룰 수 있는 대상이 아닙니다.

반대 방향의 증거 — 잠재적 학습과 공유 초기화

여기까지만 보면 "증류 데이터에 없는 것은 안 넘어온다"가 깔끔한 규칙 같습니다. 그런데 정반대 방향의 연구 결과가 있고, 이걸 같이 놓아야 규칙이 완성됩니다.

2025년 7월에 나온 잠재적 학습 논문은 의미상 전혀 무관한 데이터로도 교사의 성향이 학생에게 전이된다고 보고했습니다. 숫자 나열이나 코드처럼 성향과 아무 관련 없어 보이는 출력으로 학습시켜도, 그리고 성향에 대한 직접적 언급을 필터링해 제거해도 전이가 일어났습니다. 결정적인 조건은 하나였습니다 — 교사와 학생이 같은 베이스 모델에서 출발했을 때만 나타나고, 서로 다른 베이스에서는 나타나지 않았습니다.

2026년에 나온 후속 연구들은 이걸 정량화하는 방향으로 갔습니다. 안전 저하가 증류로 얼마나 전이되는지 측정한 결과들이 보고됐고, 베이스 모델 계열에 따라 전이 양상이 크게 달랐습니다. 어떤 계열은 특정 강도 이상에서 급격히 넘어가는 임계값 형태였고, 다른 계열은 연속적으로 그리고 더 높은 비율로 전이됐습니다.

이 두 갈래를 합치면 규칙이 이렇게 다듬어집니다.

• 증류 데이터의 지지집합 안에서 교사가 드러낸 행동은 전이된다. 명시적으로 최적화되기 때문이다.
• 지지집합 밖의 행동은 대체로 전이되지 않는다. 이번 실험이 관찰한 것이 이 경우다.
• 단, 교사와 학생이 초기화를 공유하면 지지집합 밖의 성향도 새어 나갈 수 있다.

세 번째 항목은 이번 실험에서 검증되지 않았습니다. 저자들도 중국 계열 베이스에 중국 교사를 증류하는 시나리오는 시험하지 않았다고 명시했습니다. 그런데 현실에서 파생 모델을 만드는 사람들의 상당수가 정확히 그 구성을 씁니다 — 같은 계열의 오픈 웨이트를 베이스로 삼고 같은 계열의 상위 모델을 교사로 씁니다. 이 실험이 가장 안 다룬 조건이 가장 흔한 조건입니다.

이 실험 하나가 지지하는 범위, 그리고 실무 규칙

정리하면, 이 실험이 지지하는 명제는 다음 한 문장입니다. 중국 민감 콘텐츠가 전혀 없는 금융 도메인 데이터로, 서로 다른 계열의 오픈 웨이트 모델에, 국소적인 역 KL 증류를 걸었을 때, 교사의 정치 검열 행동은 학생에게 나타나지 않았다.

지지하지 않는 명제들도 분명히 해 둡니다. 중국 모델을 증류하면 검열이 따라오지 않는다는 일반 명제를 지지하지 않습니다. 증류 데이터에 정치·역사 관련 프롬프트가 섞이면 어떻게 되는지 시험하지 않았고, 같은 계열 베이스에서의 결과도 없습니다. 평가 항목에 홍콩이나 우크라이나 침공이 빠져 있다는 지적도 스레드에 있었고, 152쌍이라는 규모는 탐색적 실험에 맞는 크기이지 결론을 못 박을 크기는 아닙니다. 무엇보다 이건 동료 심사를 거치지 않은 단일 비공식 실험이며 재현되지 않았습니다. 저자들 스스로도 이 행동이 표현 공간의 어디에 사는지에 대해서는 아무 주장도 하지 않는다고 적었습니다.

그래도 실무 규칙 몇 개는 이 틀에서 곧바로 나옵니다.

• 교사의 안전 속성을 상속했다고 가정하지 마세요. 잘 정렬된 모델에서 능력만 증류했다면 학생의 안전 특성은 여전히 베이스의 것입니다. 별도로 평가해야 합니다.
• 평가는 대응 쌍으로 설계하세요. 절대 점수는 모델의 일반적 신중함과 특정 주제 회피를 구분하지 못합니다. 구조를 맞춘 쌍을 만드는 데 드는 비용이 이 실험에서 가장 값어치 있는 부분이었습니다.
• 베이스와 교사의 계열이 같은지 확인하세요. 잠재적 학습 연구가 말하는 위험 조건이 정확히 그것입니다. 같은 계열이라면 증류 데이터에 없는 성향도 검사 대상에 넣어야 합니다.
• 증류 데이터의 지지집합을 문서로 남기세요. 무엇이 전이될 수 있고 무엇이 전이될 수 없는지는 그 문서만 보고도 대부분 예측됩니다. 사후에 이상 행동을 조사할 때 가장 먼저 볼 자료이기도 합니다.
• 오픈 웨이트를 직접 서빙할 때와 공식 API로 부를 때의 차이를 재세요. 그 차이가 서비스 층 필터의 크기입니다. 이 값을 모르면 "이 모델은 검열됐다"는 문장의 대상이 가중치인지 서비스인지 알 수 없습니다.

마치며 — 증류는 교사를 복사하지 않고, 교사가 말한 것을 복사한다

증류를 "작은 모델에 큰 모델을 담는 기술"로 이해하면 이번 결과가 의외로 보입니다. 하지만 증류가 복사하는 것은 모델이 아니라 특정 입력들에 대한 출력 분포이고, 그렇게 보면 결과는 설계의 필연에 가깝습니다. 금융 문제만 물었으니 금융 답변만 복사됐습니다.

그래서 다음번에 "증류하면 X가 따라오나요"라는 질문을 받으면, 답하기 전에 세 가지를 되물으면 됩니다. 교사가 X를 드러내는 입력이 증류 데이터에 들어 있습니까. 그 입력이 데이터 분포에서 얼마나 큰 비중입니까. 그리고 학생은 교사와 같은 베이스에서 출발했습니까. 세 답이 모이면 대개 실험 없이도 방향은 예측됩니다. 다만 방향을 안다고 크기를 아는 것은 아니므로, 그 다음은 여전히 측정입니다.