Language Learning Quiz
Based on: Ring Attention 논문 분석: 분산 환경에서 무한 컨텍스트 윈도우 트레이닝 구현
Do you know this expression?
Context Window
컨텍스트 윈도우
모델이 한 번에 처리할 수 있는 최대 토큰 수로, Ring Attention은 이 한계를 디바이스 수에 비례하여 확장
Tap to flip
Based on: Ring Attention 논문 분석: 분산 환경에서 무한 컨텍스트 윈도우 트레이닝 구현
모델이 한 번에 처리할 수 있는 최대 토큰 수로, Ring Attention은 이 한계를 디바이스 수에 비례하여 확장
Tap to flip