Skip to content

필사 모드: 让退役的 DDR4 重获新生 — Meta 的 CXL 桥接芯片 Vistara

한국어
0%
정확도 0%
💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

引言 — 飙升的内存价格与堆在仓库里的旧内存

对 2026 年的数据中心运营者来说,内存已经成为最令人头疼的成本项之一。DDR5 价格上涨、AI 工作负载吞噬容量的同时,矛盾的是,仓库一角却堆满了从 35 年就退役的服务器上拆下来、明明还能用的 DDR4。服务器寿命是 35 年,但内存芯片的有效寿命是 7~10 年 — 等于把还没用到一半的内存连同服务器一起报废了。

Meta 在 ISCA 2026 上公开的论文《Vistara: Making CXL Real》正是瞄准这种浪费。要点很简单 — 从退役服务器上回收 DDR4,通过 CXL 接入 最新的 DDR5 专用服务器,让它作为更慢但便宜得多的第二层内存重获新生。为此 Meta 打造了名为 Vistara 的自研 CXL 桥接芯片(ASIC),并称已经以数百万台的规模部署到生产环境。

有意思的是,这并不是一次“CXL 演示”。论文正面指出:CXL 问世已经 6 年,却一直没有大规模实战部署的报告,并把 Vistara 标榜为从 ASIC 设计到 OS 支持、再到超大规模部署的 首个端到端(end-to-end)实战报告

什么是 CXL 与内存分层

CXL(Compute Express Link) 是运行在 PCIe 物理层之上的业界标准互连。核心在于把内存容量从 CPU 插槽所连 DRAM 通道的物理限制中 解耦 出来。传统上,服务器的最大内存被主板上的 DIMM 插槽数量所限死,而 CXL Type-3 内存扩展器则通过 PCIe 插槽额外挂载内存。

在操作系统看来,这块 CXL 内存表现为一个没有 CPU 的独立 NUMA 节点。也就是说,本地 DRAM 与 CXL 内存分别成为“快层”和“慢层”,Linux 内核依据访问模式,把频繁使用的热页放在本地 DRAM,把长时间不碰的冷页迁移到 CXL 层。这就是 内存分层(tiering),它在超大规模场景中之所以重要,是有原因的。

Meta 自身的观察用数据说明了这个原因。自家服务器 fleet 中约有 40%(论文实测值 43.7%)受制于 内存容量 而非 CPU 核心 — 核心有富余,却因为内存不足而无法承载更多工作负载。而且许多工作负载的内存大多处于“冷”状态。据论文中的表格,某个 Web 服务的相当一部分内存页在数十小时内一次都没被访问过。把冷页放到慢层,正是在几乎不损失性能的前提下扩充容量的精准处方。

Meta 并不是第一个用 CXL 的 — 论文提到 Microsoft 部署了 CXL 扩展 VM,Google 提供了最高 32TB 内存的 VM。只不过那些大多是在增加新容量。Vistara 押的是另一条路 — 不是买新的,而是再利用。

Vistara 实际做了什么 — 芯片与 MemServer

Vistara 真正的着眼点不是卖“CXL 内存”,而是 把控制器与 DIMM 分离。论文的指摘很犀利 — 市面上大多数 CXL 产品把 DRAM 与控制器捆绑销售,妨碍 DIMM 的再利用,而且大多不支持 DDR4。Vistara 只做控制器(ASIC),DIMM 则采用从退役服务器回收的标准 DDR4 RDIMM,从而不被特定厂商绑定,把旧内存重新利用起来。

芯片本身的规格如下。

Vistara ASIC (Meta 第一代 CXL 内存扩展器)
├─ 主机:   CXL 2.0/1.1, Type-3 · PCIe Gen5 x16 (以 x8 部署)
├─ 内存:   独立 DDR4 通道 2 条(72 位) · 最高 3200 MT/s
├─ 容量:   最高 256GB(4x64GB) · 生产环境 128GB(4x32GB)
├─ 可靠性: RS(36,32) 2 符号纠错 + x4 chipkill
├─ 管理:   RISC-V 核心 3 个(安全·控制·启动) · 空闲延迟 ~50ns
└─ 功耗:   ~9W

装载这块芯片的服务器,Meta 称之为 MemServer。它在单插槽 AMD Turin(158 核心/316 线程)上本地挂载 DDR5-6400 768GB,并通过 2 个 Vistara ASIC 用 CXL 挂上再利用的 DDR4-2400 256GB — 合计 1TB。本地 DDR5 提供约 614 GB/s、CXL DDR4 约 76 GB/s 的带宽。软件方面基于标准 Linux 内核的 TPP(Transparent Page Placement),把 CXL 内存以 ZONE_MOVABLE 方式上线,避免页表这类不可迁移的分配被错误地落到慢层。论文表示,这部分内核代码要么已经进入上游(upstream),要么正走在合入上游的路上。

TPP 之上,Meta 又叠加了 TMO(Transparent Memory Offloading),在 DRAM 被填满之前就把冷页提前下沉到下层。有意思的是,据说仅凭简单的基于 LRU 的热度检测器就已经足够准确 — 也就是说并不需要复杂的 OS 机制。

诚实的局限 — 延迟与带宽

这是本文中最需要保持诚实的部分。用 CXL 接上的 DDR4 可不是免费的午餐。本地 DDR5 的空闲延迟约为 130ns,而 CXL 内存约为 250ns。论文自己也明确指出,扩展内存相比本地 带宽约低 10 倍、延迟约高 60%

重要的是这份延迟的来源。论文明确表示,这种慢并非 CXL 协议本身固有 — 约 150ns 的额外延迟来自扩展器的数据通路(控制器·PHY·桥接),其余则来自为了功耗与混合世代兼容性而让旧 DDR4 以较低速度(2400 MT/s)运行的选择。负载升高,差距也随之拉大 — 在带宽利用率 60% 时,本地为 234ns,CXL 为 372ns。

把带宽差距落到数字上看 — 在纯读取模式下,本地内存最高可达约 497 GB/s,而 CXL 层只有约 48 GB/s。这就是论文所说的约 10 倍差距。

那它为什么能成立?答案就是前面说的“冷页”。据称在生产运行点上,CXL 带宽利用率不到 10% — 因为热的、对带宽敏感的访问都留在本地 DDR5,CXL 上只承载几乎不会被碰的页。因此较低的 CXL 带宽并不会削减端到端性能。论文主张,凭借精细的工程,CXL 的尾延迟(tail latency)足以媲美本地 DRAM,TPP 的开销不到 0.5% — 这一点正面反驳了 CXL 早期研究所指出的尾延迟不稳定问题。

结语 — TCO、碳排放,以及应当怀疑的地方

这项工作真正有意思的地方,在于两条轴线彼此咬合。第一条是 TCO。按论文的归一化数值,CXL 层每 GB 成本约为本地的 0.13 倍,功耗约为 0.7 倍 — 既然是回收已有的内存,“近乎零成本的容量扩展”这种说法就不全是夸张。第二条是碳排放。Meta 披露,在服务器 fleet 的隐含碳排放中,DRAM 是单一最大项(69%)。把内存寿命延长到 7~10 年,减少的不仅是成本,还有排放。成果方面,论文报告分布式推理服务器数量最多减少 25%、分布式缓存平均延迟改善 29%、特定工作负载的 OOM 最多减少 50%。

受益的正是论文点名的那些“内存饥渴”型工作负载 — 分布式 ML 推理(推荐系统的嵌入表)、大数据处理、数据库、分布式缓存、CI/CD 构建系统。

不过,值得带着怀疑去读的地方也很明确。那些醒目的数字(25%、29%、50%)全部是 Meta 自家的生产指标,而不是可独立复现的基准测试。Vistara 是第一代芯片,论文自己也承认,对于无法忍受延迟的工作负载,需要一套把扩展内存整个关掉的选择退出(opt-out)框架 — 也就是说,它并不是对所有工作负载都灵的魔法。再利用的供给同样受制于退役服务器所能提供的 DDR4 数量,无法无限扩大。

即便如此,这个故事依然有价值,因为它把被念叨了 6 年“快来了”的 CXL 真正推进到了实际的超大规模部署,并用数字揭示了什么地方难、什么地方真正管用。在内存价格上涨的时代,用一颗芯片就能证明:与其“再买新的”,不如“把已有的用到 7~10 年”这条路走得通 — 这正是这篇论文的核心。

参考资料

현재 단락 (1/30)

对 2026 年的数据中心运营者来说,内存已经成为最令人头疼的成本项之一。DDR5 价格上涨、AI 工作负载吞噬容量的同时,矛盾的是,仓库一角却堆满了从 3~5 年就退役的服务器上拆下来、明明还能用的...

작성 글자: 0원문 글자: 3,874작성 단락: 0/30