Language Learning Quiz
Based on: Mixture of Experts(MoE) 아키텍처 심층 분석: Switch Transformer에서 Mixtral까지의 발전과 효율적 스케일링 전략
Mixture of Experts(MoE) 아키텍처 심층 분석: Switch Transformer에서 Mixtral까지의 발전과 효율적 스케일링 전략1 / 10
이 표현을 알고 있나요?
Mixture of Experts
전문가 혼합 모델
입력에 따라 여러 전문가 네트워크 중 일부만 활성화하여 계산 효율성을 높이는 모델 아키텍처
탭하여 뒤집기