Language Learning Quiz
Based on: 증류로 전이되는 것과 안 되는 것 — DeepSeek을 GPT-OSS에 증류했더니 검열이 따라오지 않았다
증류로 전이되는 것과 안 되는 것 — DeepSeek을 GPT-OSS에 증류했더니 검열이 따라오지 않았다1 / 10
이 표현을 알고 있나요?
reverse KL divergence
역 KL 발산
학생 분포를 기준으로 교사 분포와의 차이를 재는 손실 함수입니다. 순방향 KL과 달리 교사가 확률을 주지 않는 영역을 학생이 피하도록 유도해, 결과적으로 교사의 특정 모드에 집중하게 만듭니다.
탭하여 뒤집기