Chaos and Order

💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

はじめに — 高騰する RAM 価格と倉庫に眠る古いメモリ
CXL とメモリティアリングとは何か
Vistara が実際に行ったこと — チップと MemServer
正直な限界 — 遅延と帯域幅
おわりに — TCO、カーボン、そして懐疑すべき点
参考資料

はじめに — 高騰する RAM 価格と倉庫に眠る古いメモリ

2026 年のデータセンター運用者にとって、メモリは最も痛いコスト項目のひとつになりました。DDR5 価格が上がり AI ワークロードが容量を食う一方で、逆説的にも倉庫の片隅には、3〜5 年で引退したサーバーから外した使えるはずの DDR4 が積み上がります。サーバーの寿命は 3〜5 年ですが、メモリチップの有効寿命は 7〜10 年です — まだ半分も使っていない RAM をサーバーごと廃棄していることになります。

Meta が ISCA 2026 で公開した論文「Vistara: Making CXL Real」は、まさにこの無駄を狙います。要点は単純です — 引退サーバーから DDR4 を回収し、最新の DDR5 専用マシンに CXL で接続して 、遅いがはるかに安い第二のメモリ階層として蘇らせる。Meta はそのために Vistara という自社製の CXL ブリッジチップ（ASIC）を作り、すでに数百万台規模で本番に配備していると述べます。

興味深いのは、これが「CXL のデモ」ではない点です。論文は、CXL が世に出て 6 年が経つのに大規模な実運用の報告がなかったという事実を正面から指摘し、Vistara を ASIC 設計から OS 支援、ハイパースケール配備までつながる 最初の端から端まで（end-to-end）の実運用報告 として打ち出します。

CXL とメモリティアリングとは何か

CXL（Compute Express Link） は、PCIe 物理層の上で動く業界標準のインターコネクトです。核心は、メモリ容量を CPU ソケットに付いた DRAM チャネルの物理的制約から 切り離す ことです。従来、サーバーの最大メモリはマザーボードの DIMM スロット数で固定されますが、CXL Type-3 メモリ拡張器は PCIe スロットを通じてメモリを追加でぶら下げます。

OS から見ると、この CXL メモリは CPU を持たない別の NUMA ノードとして見えます。つまりローカル DRAM と CXL メモリは「速い階層」と「遅い階層」になり、Linux カーネルがアクセスパターンを見て、よく使う熱いページをローカル DRAM に、長く触らない冷たいページを CXL 階層へ移します。これが メモリティアリング（tiering） であり、ハイパースケールで重要なのには理由があります。

Meta 自身の観察がその理由を数値で語ります。自社サーバー fleet の約 40%（論文の測定値 43.7%）が、CPU コアではなく メモリ容量 に縛られています — コアは余っているのにメモリが足りずワークロードを載せられない状態です。しかも多くのワークロードのメモリは大半が「冷えて」います。論文の表によれば、あるウェブサービスはメモリページのかなりの割合を数十時間まったくアクセスしません。冷たいページを遅い階層に置くのは、性能損失をほぼ出さずに容量を増やす的確な処方箋です。

Meta が CXL を初めて使うわけではありません — 論文は、Microsoft が CXL 拡張 VM を配備し、Google が最大 32TB メモリの VM を提供していると言及します。ただしそれらは大抵、新しい容量を足す方向です。Vistara の賭けは違います — 新しく買うのではなく、再利用です。

Vistara が実際に行ったこと — チップと MemServer

Vistara の本当の狙いは「CXL メモリ」を売ることではなく、 コントローラと DIMM を分離した ことにあります。論文の指摘は鋭いです — 市場の CXL 製品の大半は DRAM をコントローラに束ねて売るため DIMM の再利用を妨げ、しかも DDR4 を大抵サポートしません。Vistara はコントローラ（ASIC）だけを作り、DIMM は引退サーバーから回収した標準の DDR4 RDIMM を挿せるようにすることで、特定ベンダーに縛られず古いメモリを蘇らせます。

チップ自体の仕様はこうです。

Vistara ASIC (Meta 第1世代 CXL メモリ拡張器)
├─ ホスト: CXL 2.0/1.1, Type-3 · PCIe Gen5 x16 (x8 で配備)
├─ メモリ: 独立 DDR4 チャネル 2本(72ビット) · 最大 3200 MT/s
├─ 容量:   最大 256GB(4x64GB) · 本番 128GB(4x32GB)
├─ 信頼性: RS(36,32) 2シンボル訂正 + x4 チップキル
├─ 管理:   RISC-V コア 3個(セキュア・制御・起動) · 待機遅延 ~50ns
└─ 電力:   ~9W

このチップが入るサーバーを Meta は MemServer と呼びます。シングルソケットの AMD Turin（158 コア/316 スレッド）にローカルで DDR5-6400 768GB を載せ、Vistara ASIC 2 個を通じて再利用 DDR4-2400 256GB を CXL でぶら下げます — 合計で 1TB です。ローカル DDR5 は約 614 GB/s、CXL DDR4 は約 76 GB/s の帯域を出します。ソフトウェア側は標準 Linux カーネルの TPP（Transparent Page Placement）に基づき、CXL メモリを ZONE_MOVABLE としてオンライン化して、ページテーブルのような移動不可の割り当てが遅い階層に誤って落ちないようにします。論文は、このカーネルコードがすでに upstream にあるか、その途上にあると述べます。

TPP の上に Meta は TMO（Transparent Memory Offloading）を重ね、DRAM が埋まる前に冷たいページを先に下の階層へ落とします。興味深いことに、単純な LRU ベースのホットネス検出器で十分に正確だったといい — 凝った OS の仕掛けは要らなかったのです。

正直な限界 — 遅延と帯域幅

ここは最も正直であるべき部分です。CXL で接続した DDR4 はただの昼食ではありません。ローカル DDR5 の待機遅延が約 130ns なのに対し、CXL メモリは約 250ns です。論文自身が、拡張メモリはローカルより 帯域幅が約 10 倍低く、遅延が約 60% 高い と明言します。

重要なのはこの遅延の出どころです。論文は、この遅さが CXL プロトコルに内在するものではないと明確にします — 約 150ns の追加遅延は拡張器のデータパス（コントローラ・PHY・ブリッジ）から来て、残りは古い DDR4 を電力と混在世代の互換性のために低い速度（2400 MT/s）で動かす選択から来ます。負荷が上がると差も広がります — 帯域幅利用率 60% でローカルは 234ns、CXL は 372ns です。

帯域幅の差を数値で見ると — 純粋な読み出しパターンでローカルメモリは約 497 GB/s で最高を打つ一方、CXL 階層は約 48 GB/s にとどまります。論文が言う約 10 倍の差がこれです。

ではなぜ成立するのか。答えは先ほどの「冷たいページ」です。本番の動作点では CXL 帯域幅の利用率は 10% 未満だといいます — 熱く帯域に敏感なアクセスはローカル DDR5 に残り、CXL にはほとんど触らないページだけが載るためです。だから低い CXL 帯域幅が端から端までの性能を削りません。論文は、丁寧なエンジニアリングにより CXL のテール遅延はローカル DRAM に匹敵し、 TPP のオーバーヘッドは 0.5% 未満だと主張します — CXL 初期の研究が指摘した不安定なテール遅延の懸念を正面から反論する箇所です。

おわりに — TCO、カーボン、そして懐疑すべき点

この取り組みが本当に興味深いのは、二つの軸が噛み合うからです。第一は TCO です。論文の正規化数値では、CXL 階層は GB あたりのコストがローカルの約 0.13 倍、電力は約 0.7 倍です — すでに持っている RAM を再利用するので、「ほぼゼロコストに近い容量拡張」という表現は誇張だけではありません。第二はカーボンです。Meta は、サーバー fleet の内包排出において DRAM が単一で最大の項目（69%） だと明かします。メモリの寿命を 7〜10 年まで引き延ばすことは、コストだけでなく排出も減らします。成果としては、分散推論のサーバー台数を最大 25% 削減、分散キャッシュの平均遅延を 29% 改善、特定ワークロードの OOM を最大 50% 削減したと報告します。

恩恵を受けるのは、論文が名を挙げるメモリを多く食うワークロードです — 分散 ML 推論（推薦の埋め込みテーブル）、ビッグデータ処理、データベース、分散キャッシュ、CI/CD ビルドシステム。

とはいえ懐疑的に読むべき箇所は明確です。見出しの数値（25%、29%、50%）はすべて Meta 自身の本番指標であり、独立に再現できるベンチマークではありません。Vistara は第 1 世代チップであり、論文自身、遅延に耐えられないワークロードには拡張メモリを丸ごと無効化するオプトアウトの枠組みが必要だと認めます — つまりあらゆるワークロードに効く魔法ではありません。再利用の供給も引退サーバーから出る DDR4 の量に縛られ、無限には拡大しません。

それでもこの話が価値を持つのは、6 年間「もうすぐ来る」と言われ続けた CXL を実際のハイパースケール配備まで引っ張り、何が難しく何が実際に効くかを数値とともに示したことです。RAM 価格が上がる時代に、「新しく買い足す」ではなく「持っているものを 7〜10 年まで使う」という取り組みがチップ 1 個で成立するという実運用の証拠 — それがこの論文の核心です。

はじめに — 高騰する RAM 価格と倉庫に眠る古いメモリ

CXL とメモリティアリングとは何か

Vistara が実際に行ったこと — チップと MemServer

正直な限界 — 遅延と帯域幅

おわりに — TCO、カーボン、そして懐疑すべき点

参考資料