- Published on
colibrì는 순수 C 약 1,300줄로 작성된 추론 엔진으로, 744B(7,440억) 파라미터 MoE 모델인 GLM-5.2를 램 25GB짜리 소비자용 PC에서 돌립니다. 핵심은 MoE 희소성과 디스크 스트리밍입니다 — 밀집 레이어 약 9.9GB만 램에 상주시키고, 약 370GB의 라우팅 전문가는 NVMe SSD에 두고 토큰마다 필요한 것만 읽습니다. 대가는 정직하게 느립니다: 콜드 상태 약 0.05–0.1 tok/s, 사실상 문단당 몇 분. 학습 캐시와 MTP 추측 디코딩, int4·int8 양자화로 그 느림을 갉아먹습니다. 이 글은 colibrì가 실제로 무엇을 하는지, 무엇이 그걸 견딜 만하게 만드는지, 그리고 작은 기계로 큰 모델을 돌리는 일이 언제 값어치가 있는지를 정리합니다.