Maia 300：让 AI 推理少搬数据、多出词元

01先把它想成一座“回答工厂”

模型是“配方”，内存是“仓库”，计算单元是“工位”，互联是“运输道路”。这个类比用于解释分工，不代表实际硬件结构。

它做什么？

推理是用已经训练好的模型处理输入、生成答案。Maia 300 面向长上下文对话、逐词输出，以及持续多步骤的智能体任务。

它优化什么？

目标是增加每单位电力输出的有用词元。词元（token）是模型处理的文本片段，可能是一个字、一个词或词的一部分。

它处于什么阶段？

官方已公开设计与规格，生产部署计划于 2027 年开始。报道中“已在生产运行”的是前代 Maia 200。[S1]

02AI 回答时，为什么计算单元还会“等货”？

① 读懂输入 · Prefill

先处理用户的问题和已有上下文。建立可供后续生成使用的 KV 缓存。

→

② 逐步生成 · Decode

不断读取模型权重和 KV 缓存，生成下一个词元。模型权重像配方；KV 缓存像已经做好的中间笔记。

→

③ 更长、更持续的任务

长上下文与多步任务增加要保存、读取和传输的数据。数据送不到，算术峰值再高也可能空等。

Maia 300 的思路：把“数据放在哪里、走哪条路、用多少字节表示”也纳入设计。数据移动、内存带宽和计算能力要一起优化。 这是官方架构解释；具体收益仍取决于模型和工作负载。[S2]

03四个抓手，把数据更及时地送到计算旁

软件调度：SDLA

“软件定义局部访问数据流”让软件显式安排数据的位置、搬运、格式转换与同步。片上 SRAM 由软件当作临时工作区使用，减少访问更远内存的压力。

局部放置：NUMA + 芯粒

不同计算区访问不同内存的距离和代价并不相同。软件把数据放在使用它的计算区附近。计算芯粒采用 TSMC N2P，内存控制器和 I/O 分开设计。[S2]

更宽的供给：HBM4

每加速器配备 8 组 HBM4，容量 288 GB，峰值带宽 18 TB/s。容量决定能留多少数据；带宽决定一秒能搬多少数据。两者不是同一个指标。

更小的数据：低精度格式

增强 MXFP4 与低于 3 bit 的存储格式减少表示所需字节，缓解容量和搬运压力。来源没有证明所有模型均无精度损失，不能仅凭格式推断质量保持。[S1] [S2]

微软 Maia 300 片上架构图，展示计算区、内存与互联关系 — 官方原图｜Maia 300 SoC 架构。按下方中文读图键，从左上计算区读向下方内存与互联。来源：架构详解 [S2]。

① 左上：计算与临时工作区

Cluster / Tile 是计算集群 / 计算分区；TSRAM / Cluster SRAM 是附近的片上存储。对应“让数据留在计算旁”的思路。

② 下方中央：HBM 供给

HBM4 Controllers 是高带宽内存控制器；下方 8× HBM4 · 18 TB/s total 标出 8 组 HBM4 的总峰值带宽。

③ 横贯全图：片上搬运

Network on Chip 是片上互联；它连接计算集群与其他模块。DMA 类模块参与数据搬运，由 SDLA 软件安排数据流。

④ 右下：对外协作

ANC / NIC / Ethernet 对应 AI 网络控制与以太网连接。原图说明模块关系，不直接证明低精度精度保持或能效收益。

04单颗芯片之外：让整机架协作

模型太大或并发太多时，单颗加速器不够。系统需要把工作与数据分配给多颗加速器，并控制通信代价。

单加速器288 GB HBM4950 W TDP：芯片设计功耗规格。

单机架 / POD96 颗加速器24 个四加速器托盘；整机架功率范围 167 kW。

最大 SUPERPOD12,288 颗最多 128 个机架，通过两层以太网 AI 传输互联。

机架内采用电连接，跨机架采用光连接；统一通信语义允许加速器直接发起跨系统通信。Prefill 与 Decode 可以分开配置，先处理输入的工人把 KV“笔记”直接传给负责逐词生成的工人。[S2]

规模不是速度承诺。 12,288 是设计支持的最大加速器数量，不等于所有模型都能线性提速。96 × 950 W = 91.2 kW 只是加速器 TDP 相加，不能代替包含其他部件的 167 kW 整机架口径。

05三组关键数字，要连同限定条件一起读

官方数字	比较对象与层级	能说明什么 / 还不能说明什么
每 MW 词元 +40%	对比“领先的 GPU 系统”；微软用语为“预期”。[S1]	单位电力推理产出的目标提升。未公开具体 GPU SKU、模型、延迟和精度条件；不能写成独立实测结论，也不等于耗电降低 40%。
机架词元吞吐最高 7 倍	对比 Maia 200；Maia 300 为满配 96 加速器机架。[S1][S2]	体现整机架能力；含密度等系统因素。不能写成单颗芯片速度提升 7 倍。
18 TB/s · 288 GB	每加速器 HBM4 的峰值带宽与容量。[S2]	是硬件供给规格。实际服务吞吐还受模型、并发、通信、内核与服务延迟目标影响。

补充口径：架构页不同段落分别使用“最高 2.5 倍”和“超过 2.5 倍”的每瓦性能表述，因此本报告不把它合并为统一精确数值。两篇来源均为微软官方声明，尚不构成独立交叉验证。

06读完后，你应当能复述这条因果链

长上下文和多步推理 → 数据读写压力增加 → 软件安排局部数据、HBM 提供带宽、低精度减少字节、网络连接更多工位 → 争取在固定电力与散热条件下输出更多有用词元。

已有来源支持

微软正把推理平台作为软件、芯片、内存、互联和机架的共同优化问题；2027 年生产部署属于前瞻计划。

仍待验证

真实服务中不同模型的延迟、精度、每词元成本及可复现的能效；“全面胜过任意 GPU”或“所有负载都提升 40%”均无依据。

来源与审阅范围

[S1] 发布与部署计划：Microsoft to expand Azure Maia system to multi-gigawatt deployments，Scott Guthrie，2026-10-12。

[S2] 架构机制与规格：Deep dive into Azure Maia 300 architecture，Rani Borkar、Saurabh Dighe，2026-10-12。

依据 2026-10-16 已抓取的两篇正文及原始图片制作。未转录嵌入视频；解释性工厂类比与流程图为本报告教学重绘。前代 Maia 200 数据仅用于明确对照，不充当 Maia 300 本代规格。