Language Learning Quiz
Based on: Ring Attention 논문 분석: 분산 환경에서 무한 컨텍스트 윈도우 트레이닝 구현
Do you know this expression?
Ring Attention
링 어텐션
여러 GPU 디바이스에 시퀀스를 분할하고 링 토폴로지로 Key-Value 블록을 순환시키며 어텐션을 계산하는 분산 알고리즘
Tap to flip
Based on: Ring Attention 논문 분석: 분산 환경에서 무한 컨텍스트 윈도우 트레이닝 구현
여러 GPU 디바이스에 시퀀스를 분할하고 링 토폴로지로 Key-Value 블록을 순환시키며 어텐션을 계산하는 분산 알고리즘
Tap to flip