Skip to content

Distillation

  • Published on
    2026년 7월 30일 Show HN에 올라온 CTGT의 실험은 DeepSeek V4 Flash를 교사로, GPT-OSS를 학생으로 삼아 금융 추론 능력을 증류했더니 능력은 넘어왔는데 정치 검열은 넘어오지 않았다고 보고합니다. 대응 쌍 152개에서 교사는 민감 질문과 대조군 사이에 45.45점의 검열 격차를 보였지만 학생은 0.43점과 3.94점으로 기준선에 머물렀습니다. 이 글은 그 실험 하나를 확대하지 않고 출발점으로만 씁니다 — 증류가 복사하는 것은 교사의 출력 분포이므로, 무엇을 관찰했는지·어디서 관찰했는지·누구에게 복사하는지 세 축이 전이 여부를 정한다는 틀을 세우고, 잠재적 학습 연구가 보여 준 정반대 방향의 증거(공유 초기화일 때는 관찰하지 않은 성향까지 새어 나간다)까지 함께 놓습니다.