Skip to content

Language Learning Quiz

Based on: Qwen3.8-27B의 하이브리드 어텐션 — 64개 층 중 16개만 KV 캐시를 쌓는 구조

Qwen3.8-27B의 하이브리드 어텐션 — 64개 층 중 16개만 KV 캐시를 쌓는 구조
1 / 10

이 표현을 알고 있나요?

YaRN
YaRN 위치 보간

학습 때보다 긴 입력을 받기 위해 회전 위치 인코딩의 주기를 늘리는 기법입니다. 배율을 고정해 두면 짧은 입력에서도 그 배율이 그대로 적용됩니다.

탭하여 뒤집기