Sequence-modeling

Mamba와 상태 공간 모델(SSM)을 완전히 이해하는 가이드. Transformer의 이차 복잡도 문제를 해결한 S4, H3, Mamba 1/2 아키텍처를 수식과 코드로 깊이 분석하고, MambaFormer와 Jamba 같은 하이브리드 모델까지 다룹니다.

Mamba 논문의 선택적 State Space Model 메커니즘, S4에서 Mamba-2로의 발전 과정, Transformer 대비 선형 시간 복잡도의 장단점, 그리고 비전·오디오·시계열 분야 적용 사례까지 다루는 SSM 아키텍처 종합 분석.

RWKV-7 Goose의 Dynamic State Evolution 메커니즘, TC0 한계 돌파, Transformer 대비 성능 비교를 논문 기반으로 분석합니다. 상수 메모리 + 선형 시간 추론이 가능한 차세대 아키텍처입니다.

Mamba(Selective State Space Models) 논문을 심층 리뷰한다. S4에서 Mamba까지의 발전 과정, Selective Scan 메커니즘, Hardware-Aware 알고리즘, 그리고 Mamba-2의 State Space Duality까지 코드와 함께 분석.