Chaos and Order https://www.youngju.dev/blog 천천히 올바르게. AI Researcher & DevOps Engineer Youngju's tech blog. GPU/CUDA, LLM, MLOps, Kubernetes AI workloads, distributed training, and data engineering. ko fjvbn2003@gmail.com (Youngju Kim) fjvbn2003@gmail.com (Youngju Kim) Sat, 11 Jul 2026 00:00:00 GMT https://www.youngju.dev/blog/2026-07-11-glm-52-slow-computers.en Running GLM-5.2 on a slow computer — how colibrì streams a 744B model from disk https://www.youngju.dev/blog/2026-07-11-glm-52-slow-computers.en colibrì is a ~1,300-line pure-C inference engine that runs GLM-5.2, a 744B-parameter MoE model, on a consumer PC with 25GB of RAM. The trick is MoE sparsity plus disk streaming: only ~9.9GB of dense layers stay resident, while ~370GB of routed experts live on an NVMe SSD and get read per token. It is honest about the cost — roughly 0.05–0.1 tokens/sec cold, or minutes per paragraph — and leans on a learning cache, MTP speculation, and int4/int8 quantization to claw some of that back. This post covers what colibrì actually does, the engineering that makes it bearable, and when running-big-on-small is worth it. Sat, 11 Jul 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) aillmlocal-inferencemoequantizationcolibri https://www.youngju.dev/blog/2026-07-11-glm-52-slow-computers.ja 遅いパソコンでGLM-5.2を動かす — colibrìが744Bモデルをディスクからストリーミングする仕組み https://www.youngju.dev/blog/2026-07-11-glm-52-slow-computers.ja colibrìは純粋Cで約1,300行の推論エンジンで、744B(7,440億)パラメータのMoEモデルであるGLM-5.2を、RAM 25GBのコンシューマPCで動かします。鍵はMoEの疎性とディスクストリーミングです。約9.9GBの密なレイヤーだけをRAMに常駐させ、約370GBのルーテッドエキスパートはNVMe SSDに置いてトークンごとに必要な分だけ読み込みます。代償は正直に遅く、コールド状態で約0.05〜0.1 tok/s、実質的に段落あたり数分です。学習キャッシュとMTP投機デコード、int4・int8量子化でその遅さを削り取ります。本記事では、colibrìが実際に何をしているのか、何がそれを耐えられる速度にしているのか、そして小さなマシンで大きなモデルを動かすことがいつ値するのかを整理します。 Sat, 11 Jul 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) aillmlocal-inferencemoequantizationcolibri https://www.youngju.dev/blog/2026-07-11-glm-52-slow-computers 느린 컴퓨터에서 GLM-5.2 돌리기 — colibrì가 744B 모델을 디스크에서 스트리밍하는 법 https://www.youngju.dev/blog/2026-07-11-glm-52-slow-computers colibrì는 순수 C 약 1,300줄로 작성된 추론 엔진으로, 744B(7,440억) 파라미터 MoE 모델인 GLM-5.2를 램 25GB짜리 소비자용 PC에서 돌립니다. 핵심은 MoE 희소성과 디스크 스트리밍입니다 — 밀집 레이어 약 9.9GB만 램에 상주시키고, 약 370GB의 라우팅 전문가는 NVMe SSD에 두고 토큰마다 필요한 것만 읽습니다. 대가는 정직하게 느립니다: 콜드 상태 약 0.05–0.1 tok/s, 사실상 문단당 몇 분. 학습 캐시와 MTP 추측 디코딩, int4·int8 양자화로 그 느림을 갉아먹습니다. 이 글은 colibrì가 실제로 무엇을 하는지, 무엇이 그걸 견딜 만하게 만드는지, 그리고 작은 기계로 큰 모델을 돌리는 일이 언제 값어치가 있는지를 정리합니다. Sat, 11 Jul 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) aillmlocal-inferencemoequantizationcolibri