Language Learning Quiz
Based on: 멀티 GPU 학습의 네 가지 병렬화 — 무엇을 쪼개고 무엇을 통신하는가
멀티 GPU 학습의 네 가지 병렬화 — 무엇을 쪼개고 무엇을 통신하는가
1 / 10
이 표현을 알고 있나요?
Tensor parallelism
텐서 병렬
하나의 행렬 곱을 여러 GPU가 열 또는 행 방향으로 나눠 계산하는 방식. 레이어마다 활성화를 모으는 통신이 계산 경로 위에 놓여 노드 간 링크에서는 급격히 느려집니다.
탭하여 뒤집기