Language Learning Quiz
Based on: Mixture of Experts(MoE) 아키텍처 완벽 분석
Do you know this expression?
Expert Collapse
전문가 붕괴
학습 과정에서 소수의 전문가만 반복적으로 선택되고 나머지 전문가가 학습되지 않는 현상으로, MoE의 주요 학습 안정성 문제입니다.
Tap to flip
Based on: Mixture of Experts(MoE) 아키텍처 완벽 분석
학습 과정에서 소수의 전문가만 반복적으로 선택되고 나머지 전문가가 학습되지 않는 현상으로, MoE의 주요 학습 안정성 문제입니다.
Tap to flip