数据搬运成新瓶颈

AI大模型愈发强大, 可计算核心即便是无比厉害竟也运转不起来, 缘由在于数据未能跟得上节奏。每一回生成一个词语的时候, 都得将千亿数量的参数自内存之中读取一遍。计算单元在大部分的时间之内都持续处于等待数据的状态下, 这便属于那种典型的内存受限方面的问题了。

以前众人瞧芯片核心数, 如今发觉即便核心数量再多也无济于事。真正构成阻碍的是数据通道宽度, 这也便是内存带宽。究竟是谁能够更为迅速地将数据提供给计算单元, 那么谁的芯片方可真正体现其性能。

苹果三档带宽门槛

苹果的M6系列, 将内存带宽划分成了三个界限清晰的门槛, 其中, 标准版的内存带宽为170GB/s, Pro版的内存带宽为307GB/s, 而处于顶配位置的Ultra版, 其内存带宽更是直接突破了1.2TB/s , 这种分级策略十分明确, 它向用户表明, 不同的AI需求, 所对应的应当是不同的带宽配置。

直截了当地表述的苹果营销总监Laura Metz称, 于跑AI Agent之际, 模型务必长久存在且保持一成不变置于内存里时刻准备接到指令即用。这表征着内存带宽变成事关抉择Mac mini的具有决定性意义的衡量尺寸, 其重要程度相较于处理器上核心的数量而言更突显。

小米堆叠技术突围

小米玄戒O100踏上了一条别样的路径, 运用晶圆级垂直堆叠之技艺, 将DRAM径直按压于NPU的上方。如此架构致使带宽达成1.22TB/s, 几近与苹果的Ultra版本持平。物理间距得以缩减, 数据传输路程随之变短, 速度理所当然地更为快捷。

小米所做出的选择, 表明国产芯片厂商同样在切实地布局高带宽方案, 尽管其路线与苹果存在差异, 然而目标却是相同的, 都是为了能够在 AI 算力竞赛里面获取入场券。

英伟达显存加码

英伟达RTX 5090选取了别样路径, 采用512 – bit位宽搭配GDDR7显存, 其带宽近乎1.8TB/s , 这属于独立显卡的思路, 借助更大的显存位宽以及更先进的存储颗粒去堆砌带宽。

虽然有三家厂商, 其路径存在差异, 然而结论却是相同的, 即数据传送给计算核心的速率, 对AI硬件的实际性能起到了决定性作用。这一判断正处于被市场进行验证的过程中, 高端AI设备的竞争关键要点已然从算力方面转变至带宽方面。

TB/s时代意味着什么

进入TB/s级别的内存带宽, 表明AI硬件已然步入数据搬运时期。在过去的数年当中, 人们比拼的是制程工艺以及核心数量, 而当下发觉倘若没有充足的带宽, 那些优势均无法施展出来。

这个转变会致使消费者于选购设备之际, 更着重去关注带宽参数, 不管是购置Mac mini, 又或者是组装台式机, 内存带宽都会变成跟CPU、GPU同等关键的参考指标。

谁将赢得这场竞赛

三家同时冲刺高带宽的小米、苹果、英伟达, 表明这的确属于行业一致的认知。然而三种技术路线各怀长处与短处, 对端侧设备适配的是晶圆堆叠, 高性能计算适配独立显存, 生态整合适配统一内存。

说到底究竟谁会取得胜利目前还难以评判, 不过能够确定的是, 内存带宽已然从技术层面的参数演变成了具有核心意义的竞争力。而下一个计算时代的准入凭证, 在很大程度上取决于究竟是谁能够更妥善地处理好大范围的数据搬运难题。

你认为处于AI芯片范畴之中, 内存带宽会替换算力进而成为最为关键的性能指标吗, 欢迎于评论区域阐述你的观点, 不要忘记点赞并且分享此篇文章。