- Published on
Mixture of Experts(MoE) ์ํคํ ์ฒ ์ฌ์ธต ๋ถ์: Switch Transformer๋ถํฐ MixtralยทDeepSeek๊น์ง
Mixture of Experts(MoE) ์ํคํ
์ฒ๋ฅผ ์ฌ์ธต ๋ถ์ํฉ๋๋ค. Sparse MoE์ ์ํ์ ๊ธฐ์ด๋ถํฐ Switch Transformer, Mixtral 8x7B, DeepSeek-V3์ ๋ผ์ฐํ
์ ๋ต, ํ์ต ์์ ์ฑ ๊ธฐ๋ฒ, ์ถ๋ก ์ต์ ํ๊น์ง ๋
ผ๋ฌธ ๊ธฐ๋ฐ์ผ๋ก ์์ธํ ๋ค๋ฃน๋๋ค.