필사 모드: AI 硬件最新研究动向 2026 — 从论文看未来

• 引言
• 大局观:为什么需要新硬件
• 1. 晶圆级与光子学的结合
• 2. 光子内存内张量核心
• 3. Compute-in-Memory(内存内计算)
• 4. FP4 与低精度训练
• 5. 稀疏性与 MoE 硬件
• 6. 光互连与 CPO
• 7. 下一代内存
• 8. 神经形态计算
• 9. 软硬件协同设计
• 10. 推理负载的崛起与硬件重构
• 11. 电力与散热这一隐藏约束
• 一览各条脉络
• 产业落地展望
• 亲手跟一遍低精度训练
• 该如何衡量性能
• 这些研究脉络如何相互交织
• 对从业者的启示
• 常见问题
• 结语
• 参考资料

引言

过去几年 AI 的进步,从来不只是算法本身的故事。正是因为能够承载这些算法的硬件与之一同演进,这一切才成为可能。而到了 2026 年的今天,AI 硬件研究已经不再满足于把晶体管做得更小,而是进入了重新设计运算方式本身的阶段。

本文按领域梳理 2026 年 AI 硬件研究的走向。针对每条脉络,文章会点出核心思路、代表性的研究方向及其意义,同时也会一并谈及尚存的局限与课题,以及产业落地的展望。

有一点先说在前面。相比逐一引用精确的 arXiv 编号,本文更关注准确传达各领域的走向与方向。在指向某项具体研究时,与其编造不确定的编号,不如直接点出研究方向和代表性机构 — 本文采用的是后一种方式。参考链接主要收集了各公司与机构的官方资料。

大局观:为什么需要新硬件

所有这些脉络背后,都有一个共同的问题意识,那就是内存墙(memory wall)与数据搬运的能耗。

核心问题:
  运算器的速度增长很快,但
  把数据从内存搬到运算器所需的带宽与能量
  却跟不上这个速度。

  结果: 运算器空等数据、无所事事,能量中相当一部分
        不是花在计算上,而是花在数据搬运上。

2026 年的大多数研究脉络,都是从不同角度攻克这同一个问题。有的把内存和运算在物理上直接合而为一,有的用光而不是电子来搬运数据,还有的则通过降低数据精度或利用稀疏性,从根本上减少需要搬运的数据量。下面逐一来看。

1. 晶圆级与光子学的结合

传统芯片,是从晶圆上切下一小块裸片(die)再封装而成。晶圆级(wafer-scale)方案则反其道而行之 — 不切割晶圆,把整片晶圆当作一颗巨大的芯片来用。

一个代表性的例子是 Cerebras 的 WSE-3。这是一颗单晶圆规模的芯片,拥有约 4 万亿个晶体管、接近 90 万个核心、约 44GB 的片上 SRAM,以及约 21 PB/s 量级的片上带宽。由于芯片没有被切成多块,芯片之间通信的瓶颈也就随之消失。

2026 年的新趋势,是把光子学(光学技术)也结合进来。在 DARPA 等机构支持的研究方向中,晶圆级芯片之间、或芯片内部的通信被交给光来处理,以此把带宽和能效再往上推一个台阶。

思路:
  一颗巨大的单体芯片(晶圆级)
    + 用光搬运数据的光子互连
  → 绕开电子布线在距离/能耗上的极限

其意义显而易见:如果能在一整块芯片上运行巨型模型而不出现通信瓶颈,分布式训练的复杂度就会大幅下降。而局限在于制造良率、发热与成本。既然是整片晶圆一起用,一个缺陷造成的影响就会很大,把光学器件集成进硅工艺,也仍然充满挑战。

2. 光子内存内张量核心

除了把光用作单纯的通信手段,也有研究把光本身当作运算手段。在光学中,光穿过介质时会自然发生相当于乘法与加法的变换。利用这一点,矩阵乘法就可以通过光的干涉与调制来完成。

Lightmatter 这类公司,以及多个学术团队,都在探索这个方向。核心思路如下:

电子方式:  用电压表示数字 → 用晶体管做乘加运算
光学方式:  用光的振幅/相位表示数字 → 用干涉做乘加运算

光学运算的魅力在于速度与能耗。光传播速度极快,一旦光路搭建完成,矩阵乘法这类线性运算就能以极低的能耗完成。若再结合内存内计算的思路,便可以设想一种张量核心 — 无需搬运数据,直接在光学器件内部完成运算。

不过局限同样明显。精确控制光并不容易,非线性运算(如激活函数)仍然离不开电子方式,而且模拟特性带来了精度与噪声方面的问题。因此,目前的研究重心并不在全光芯片上,而是偏向于把光学与电子适当混合的混合式方案。

3. Compute-in-Memory(内存内计算)

最直接攻克内存墙问题的脉络,是 compute-in-memory(内存内计算,简称 CIM)。其思路是:与其把数据从内存搬到运算器,不如直接在内存单元本身内完成运算。

传统方式:  内存 → (数据搬运) → 运算器 → 结果
CIM 方式 :  直接在内存阵列内部完成乘加运算 → 把搬运降到最低

尤其是利用内存单元阵列的物理特性,可以构造出这样的结构:沿一列流动的电流之和,自然而然地对应于累加运算。这样一来,矩阵乘法的大部分工作就能在不搬运数据的情况下完成。

其意义在于能效。既然数据搬运是最大的能耗来源,把它去掉就能带来能效上的巨大提升。局限则在于模拟运算的精度、单元间的差异,以及新型内存器件(如阻变式内存)的可靠性与量产能力。目前,这类技术首先在推理这类对精度要求相对宽松的负载中被摸索着走向实用。

4. FP4 与低精度训练

减少需要搬运的数据量,还有另一条路径,就是降低数字本身的精度。深度学习曾经以 32 位为标准,经过 16 位、8 位(FP8)的演进,如今正走向把 4 位(FP4)级别的低精度运算也用到训练中的阶段。

精度趋势:
  FP32 → FP16/BF16 → FP8 → FP4
  位数越少:
    - 同样的内存能装下更多数值
    - 同样的带宽能传输更多数据
    - 同样的运算器能完成更多 MAC

截至 2026 年,NVIDIA Blackwell 世代的第二代 Transformer Engine 就是围绕积极利用低精度格式而设计的。核心的研究课题在于:降低精度的同时,如何维持训练的稳定性与准确率。

低精度训练的代表性技法包括:

• 缩放(scaling): 把数值分布调整到可表示的范围内,防止上溢/下溢。
• 混合精度(mixed precision): 对敏感部分保留高精度,其余部分用低精度处理。
• 按块量化: 为每个小块分别设定独立的缩放系数,以提升表达能力。

局限在于,精度越低,数值上就越不稳定,必须仔细判断哪些层、哪些运算对低精度敏感。尽管如此,由于这条路线带来的成本节省实在可观,它也是目前落地最快的研究方向之一。

5. 稀疏性与 MoE 硬件

随着巨型模型规模不断扩大,人们越来越意识到,每次输入都动用全部参数是一种浪费。稀疏性(sparsity)与 MoE(专家混合,Mixture of Experts)正是为减少这种浪费而生的算法策略,与此同时,也有一条脉络是硬件不断演进以高效支持它们。

密集(dense):  每次输入都计算全部参数
MoE/稀疏:      每次输入只激活部分专家/权重
  → 用相同的参数量减少运算量,
    或用相同的运算量增加参数量

问题在于,稀疏运算对硬件来说处理起来相当棘手。如果无法提前知道哪些权重会被激活,数据访问就会变得不规律,而像前面提到的脉动阵列(systolic array)那样偏好规则数据流的硬件,其利用率就会随之下降。

因此研究方向分为两支。一支是设计结构化稀疏性(structured sparsity)这类硬件容易处理的规则模式;另一支则是打造专用的硬件路径,来高效处理不规则的路由与内存访问。随着 MoE 逐渐成为巨型模型的标准结构,这类硬件支持的重要性也在随之增长。

6. 光互连与 CPO

无论把单颗芯片的性能提升到多高,当需要把成千上万颗芯片捆绑起来训练巨型模型时,芯片之间的通信就会成为瓶颈。把这部分通信交给光来处理的脉络,就是光互连,尤其是 CPO(共封装光学,Co-Packaged Optics)。

传统: 芯片 → 电信号 → 板/线缆 → 光转换 → 光缆
CPO : 在芯片封装内部一同放入光引擎,
       把电光转换拉到离芯片更近的位置
  → 减少距离/能量损耗,提升带宽

电信号传输距离越远,损耗与能耗就越大。光在这一点上更有优势,把光转换拉近芯片,通信效率就会显著提升。伴随着 NVLink、UALink 之类互连标准之间的竞争,CPO 正作为大规模训练集群的核心技术受到关注。

局限在于封装复杂度、可靠性与成本。把光学器件集成进芯片封装,在制造、散热与对准方面都相当棘手。尽管如此,只要集群规模持续扩大,光互连的需求只会进一步增长。

7. 下一代内存

HBM 是当前 AI 加速器内存的主力,但着眼于其之后的研究同样活跃。既然内存墙问题的根本原因在于内存带宽与容量的极限,内存技术本身的革新,就是提升 AI 性能天花板的路径。

下一代内存研究的方向大致可归纳为:

• HBM 的世代演进: 截至 2026 年,向 HBM4 的过渡正在进行,带宽与容量随之提升。
• 近计算内存: 与前面提到的内存内计算相呼应,是赋予内存运算能力的方向。
• 新型内存器件: 探索把阻变式内存、相变内存等非易失、高密度器件应用到 AI 负载中。
• 内存层级重设计: 尝试重新组织缓存-HBM-CXL 内存池这样的层级结构,以平衡容量与带宽。

其意义在于:运算器再快,如果内存跟不上也无济于事,因此内存创新往往能解开整个系统性能真正的瓶颈。局限则在于新器件的量产能力与可靠性,以及与既有软件栈的兼容性。

8. 神经形态计算

如果说前面几条脉络的重点都在于把现有的深度学习运算做得更高效,那么神经形态(neuromorphic)计算则更为根本地模仿大脑的工作方式。

既有方式:  按时钟节拍,每次都计算所有神经元
神经形态:  只在脉冲(spike)发生时才运算
  → 事件驱动(event-driven),大部分时间几乎处于静息状态

神经形态芯片用硬件实现脉冲神经网络(spiking neural network),追求只在事件发生时才耗能的事件驱动运算。它不是始终计算全部内容,而是只在出现变化时才响应,因此在特定负载上能以极低功耗运行。

其意义在于超低功耗、实时传感器处理等细分领域的潜力。局限在于,它与当前主流深度学习(以及为其优化的工具生态)属于不同范式,难以直接替代。因此,相比巨型模型训练,神经形态更有可能率先在边缘、传感器、机器人等专用领域中大放异彩。

9. 软硬件协同设计

最后一条脉络,与其说是一项具体技术,不如说是一种方法论。与其把硬件和软件(模型、编译器、库)分开设计再强行拼接,不如从一开始就共同设计,即协同设计(co-design)。

传统: 设计模型 → 硬件尽力去运行它(或反过来)
协同设计: 同时考虑模型结构与硬件约束
  例) 按硬件偏好的矩阵形状设计模型维度
      按模型的稀疏性模式设计硬件路径

这种方式之所以变得重要,是因为前面所有脉络最终都离不开软件的配合才能发挥效果。低精度格式需要训练算法的支撑,稀疏性硬件需要模型结构与之契合,内存内运算则需要编译器把映射写好。

一个代表性的例子是 FlashAttention 系列研究。通过按硬件的内存层级重新组织注意力运算,它用远少得多的数据搬运完成了同样的数学计算。这是把算法与硬件一同纳入考量的协同设计的一个很好的案例。2026 年的研究正越来越多地朝这个方向收敛,即把模型、芯片与编译器视为同一个系统来看待。

10. 推理负载的崛起与硬件重构

贯穿 2026 年硬件研究的另一个重大变化,是重心正从训练转向推理。模型一旦训练完成,后续会发生无数次推理,因此推理在累计成本中所占的比重正在快速增长。

训练与推理对硬件的要求并不相同。

训练负载:
  - 重视超大批量、高吞吐量
  - 需要为反向传播保留中间激活值
  - 存在高精度更为重要的环节

推理负载:
  - 往往更看重低延迟(latency)
  - 需要把模型权重高效地常驻在内存中
  - 对低精度/量化更为宽容

正因为这种差异,专门针对推理优化的硬件设计变得活跃起来。Groq、SambaNova 之类的推理专用芯片,云端的推理 ASIC,以及 Google 的 Ironwood 这类推理导向的世代,都处在这条脉络之上。从研究角度看有意思的一点是,推理对精度较为宽容的特性,恰好为前面提到的内存内计算、低精度运算这类新技术提供了首个实用化的舞台。风险较高的新技术先在对精度不那么敏感的推理场景中得到验证,再自然地扩展到训练,这条路径正逐渐成型。

11. 电力与散热这一隐藏约束

在讨论运算性能时,经常被遗忘的一个变量是电力与散热。加速器的性能越高,功耗与发热也随之飙升,某个临界点之后,真正的瓶颈就不再是芯片本身,而是数据中心的供电与散热能力。

系统层面瓶颈的转移:
  过去: 运算器速度是极限
  现在: 供电、散热、单位功耗性能(perf/watt)才是核心约束

正因如此,硬件研究的核心指标正从单纯的最大性能,转向单位功耗性能(perf/watt)。这也是为什么 2026 年的新一代加速器都把大幅提升单位功耗性能作为目标。前面提到的低精度运算、内存内计算、光互连,归根结底都指向同一个目标 — 用同样的电力做出更多有用的运算。

散热技术也在同步演进。超越风冷的极限,浸没式冷却或直接液冷等方式正被引入数据中心,芯片设计与数据中心基础设施被更紧密地一并考量的趋势也在增强。归根结底,AI 硬件的未来,正从芯片本身,扩展到包含电力与散热在内的整个系统的协同设计。

一览各条脉络

把目前为止的脉络整理成表格如下:

产业落地展望

这些研究成果并不会以同样的速度进入产业。大致的落地时间线可以估计如下:

• 已经落地或即将落地: FP4 级低精度训练、光互连、HBM 世代演进、协同设计方法论。这些与现有生态契合度高,正在快速站稳脚跟。
• 中期扩散: 内存内计算与结构化稀疏性硬件。会先在推理这类要求较为宽松的负载中被摸索着走向实用。
• 长期/细分领域: 全光张量核心与神经形态。潜力很大,但由于与既有范式的距离,以及量产能力的问题,还需要更多时间。

总体来看,2026 年的 AI 硬件正处于这样一个时期:「把既有方式做得更高效」的渐进式改进,与「重新设计运算方式本身」的根本性探索,正在同时进行。短期成果掌握在前者手中,长期潜力则掌握在后者手中。

亲手跟一遍低精度训练

只抽象地说低精度为什么棘手,并不容易有实感。下面用一个小例子来找找感觉。4 位(FP4)能表示的取值数量极其有限,因此把数值分布拉进可表示范围内的缩放,就成了决定性的一步。

问题情形(概念性示例):
  假设某个张量的取值集中在 0.0001 ~ 0.0008 这个范围。
  如果 FP4 能表示的只是 0、0.5、1.0、2.0 ... 这样稀疏的点
  → 上面这些小数值就会全部被压成 0(下溢)

解决方法(缩放):
  给张量乘上一个较大的缩放系数(例如 2000 倍),把它拉进可表示范围
  → 移动到 0.2 ~ 1.6 这样 FP4 能够区分的区域
  运算结束后再除以缩放系数,还原为原始大小

关键在于:乘法与累加以低精度快速完成,同时把缩放系数选好,防止信息丢失。如果整个张量只用同一个缩放系数,在分布较宽时就会吃亏,因此常常会为每个小块分别设定缩放系数,即按块量化。

按块缩放:
  把张量切成若干小块
  为每个块分别设定最适合它的缩放系数
  → 分布不同的区域,各自都能用最优范围来表示

在此基础上再叠加混合精度。并不是所有运算都用 FP4 完成,对损失敏感的部分(如累加器、归一化、部分权重)会保留更高精度。2026 年 NVIDIA Blackwell 第二代 Transformer Engine 所追求的,正是这种精细的平衡 — 在能压到最低精度的地方尽量压低,而在稳定性会被打破的临界点上守住精度,这是一场自动化的走钢丝。

该如何衡量性能

阅读新硬件研究时常见的一个陷阱,是被最大性能(peak)数字迷惑。产品目录上的 peak FLOPS,只是假设所有运算器都不间断满负荷工作时的理论值,与实际负载中能达到的数值往往相差很大。

理解性能指标的几个层次:
  peak 性能       : 理论最大值(假设所有运算器 100% 运转)
  achieved 性能   : 实际负载中达到的数值(反映利用率)
  perf/watt       : 同样的电力所能获得的有用运算量
  total cost      : 芯片成本 + 电力 + 散热 + 运营(真实成本)

要判断一项研究真正的贡献,该看的不是 peak,而是 achieved 与 perf/watt。举例来说,内存内计算或低精度运算的价值,与其说在于 peak 数字,不如说在于用远少得多的数据搬运和电力获得同样的结果。同理,稀疏性硬件真正的价值,不在于理论上的运算量节省,而在于这种节省能否在不损失实际利用率的前提下实现。

这正是 2026 年硬件研究的评估标准,正逐渐向单位功耗性能与总拥有成本转移的原因。在数据中心受制于电力供给的时代,用同样的电力完成更多有用运算的芯片,最终才会赢。

这些研究脉络如何相互交织

以上把各条脉络分开介绍,但实际上它们彼此深度交织,因为一处进展往往会改变另一处的前提条件。

脉络之间的相互作用(示例):
  低精度 → 内存内计算: 宽松的精度要求,让模拟式内存内运算成为可能
  稀疏性 → 内存:        只搬运被激活的权重,缓解带宽压力
  光互连 → 晶圆级:      光通信解开巨型芯片间的瓶颈
  协同设计 → 全部:      软件的配合决定了每项技术真正的效果

这种网状结构所昭示的是:未来并非由某一项技术的单独胜出所塑造,而是由多种组合的协同效应所塑造。低精度打开了内存内计算的大门,稀疏性减轻了内存带宽的压力,光互连扩大了晶圆级的规模,而这一切,又都在软硬件协同设计这一方法论之上被统一调度。

对从业者的启示

对于目前并不直接设计硬件的从业者来说,这些研究动向意味着什么?

• 不必畏惧低精度: FP8,乃至逐渐普及的 FP4,正在推理和训练中都变得接近标准配置。以量化友好的方式设计并验证模型的能力,会直接转化为实实在在的成本节省。
• 推理效率就是竞争力: 随着市场重心转向推理,模型轻量化、量化、服务优化的价值也在随之提升。用更少的运算量做出同样品质的能力才是关键。
• 用数据搬运的视角去看: 评估一项新技术时,只要问一句「它是如何减少数据搬运的」,本质就会显现出来。这个问题比华丽的 peak 数字更准确。
• 留意协同设计: 把模型结构对齐硬件约束的这些小决策(矩阵维度对齐、稀疏性模式的选择、精度的分配),会大幅改变实际性能。
• 纵览整个系统: 不只看芯片性能,而是把电力、散热、互连、软件生态一并纳入考量的视角,正变得越来越重要。

常见问题

问:光子计算会很快取代电子芯片吗?

短期内实现全面替代并不现实。光在线性运算(矩阵乘法)和通信上表现强劲,但非线性运算与精细控制仍然离不开电子方式。因此现实的方向是光电混合,而光更有可能先在通信(互连、CPO)领域站稳脚跟。

问:内存内计算为什么先用在推理上?

内存内运算由于其模拟特性,伴随着精度与噪声方面的问题。训练对精度的要求较为苛刻,而推理相对宽松,可以承受些许精度损失。因此,风险较高的新技术自然会先在推理中得到验证,再逐步扩展到训练。

问:神经形态芯片能运行巨型语言模型吗?

目前来说很难。神经形态是基于脉冲的事件驱动范式,与现有的深度学习(以及为其优化的工具生态)存在距离。它更有可能先在边缘、传感器、机器人这类超低功耗至关重要的细分领域中大放异彩。

问:降到 FP4 之后,准确率不会下降吗?

如果简单粗暴地应用,确实会下降。因此需要用缩放、按块量化、混合精度这类技法来控制损失。关键在于并非所有运算都用 FP4 完成,而是只挑出对损失敏感的部分保留高精度。这个平衡一旦拿捏得当,就能在把准确率损失压制到实用水平的同时,获得可观的成本节省。

结语

AI 硬件研究几乎所有的脉络,归根结底都在与同一个对手较量,那就是搬运数据的成本。无论是用光来搬运、直接在内存中计算、降低精度以减少要搬运的数据量,还是用稀疏性来减少要计算的数据量,都是针对这同一个根本问题给出的不同答案。

从论文中看到的未来,不是某一项技术的压倒性胜利,而是多种方案根据负载与阶段的不同而共存、组合的多层图景。而贯穿所有这些脉络的元教训是:当硬件与软件被一同设计时,才会出现最大的飞跃。

每当新芯片的消息接连传来,不妨问一句「这项技术是从哪个角度解决数据搬运问题的」,就能透过华丽的修饰词,看清藏在背后的本质。这是在这个快速变化的领域里,能够沉着阅读的最稳固的一副透镜。

参考资料

• Cerebras(晶圆级引擎)
• Lightmatter(光子计算)
• NVIDIA Blackwell Architecture
• Google Cloud TPU 简介
• DARPA Microsystems Technology Office
• FlashAttention(arXiv:2205.14135)
• arXiv 检索: in-memory computing accelerators
• arXiv 检索: photonic neural network(cs.ET)