- Published on
FlashAttention ์๋ฆฌ์ฆ(v1~v3) ํต์ฌ ๋
ผ๋ฌธ ๋ถ์. IO-Aware ์๊ณ ๋ฆฌ์ฆ์ tiling ์ ๋ต, GPU SRAM/HBM ๋ฉ๋ชจ๋ฆฌ ๊ณ์ธต ํ์ฉ, ์ญ์ ํ recomputation, FlashAttention-2์ ๋ณ๋ ฌํ ๊ฐ์ , FlashAttention-3์ FP8 ์ง์๊ณผ ๋น๋๊ธฐ ํ์ดํ๋ผ์ด๋๊น์ง ์ค์ ๋ฒค์น๋งํฌ์ ํจ๊ป ๋ค๋ฃน๋๋ค.