你的显卡可能在摸鱼？HBM之父揭秘：AI算力的真相其实是内存瓶颈

最近科技圈有个相当“炸裂”的观点被翻了出来，来自高带宽内存（HBM）的发明者——金正浩（Jin-wook Jung）。他的一番话直接把现在的AI硬件圈整不会了：“AI 的本质其实是内存，而不是计算。”

GPU 与内存之间的“内存墙”问题示意图

更扎心的是，他抛出了一个数据：在处理AI任务时，GPU 真正埋头苦干的时间可能只有 10% 到 30%，剩下的大把时间，其实都在“摸鱼”等数据。

显卡真的在摸鱼？内存墙才是老大难

很多人觉得显卡贵是因为核心算力强，但只要玩过DIY电脑或者做过深度学习训练的朋友可能都有体会：有时候显存（VRAM）不够，算力再强也白搭。金正浩的观点其实就是把这个现象讲得更透彻了。

在大模型训练和推理中，数据搬运是个巨大的隐形杀手。GPU的核心计算速度极快，但内存的读写速度（带宽）跟不上。这就好比你有个手速极快的大厨（GPU），但他面前案板很小（内存带宽低），菜还没切好送上来，大厨只能干等着。

HBM 高带宽内存通过垂直堆叠缩短数据传输路径

金正浩认为，目前 GPU 架构中，数据传输和等待的时间占据了周期的绝大部分，真正用于矩阵运算的时间非常有限。 这就是所谓的“内存墙”。

为什么传统堆料路线走不通了？

过去几年，我们习惯了看 NVIDIA 在算力（FLOPS）上疯狂军备竞赛。但如果 AI 的瓶颈主要在内存带宽和容量，单纯提升核心的浮点运算能力，边际效应会越来越低。

这也是为什么 HBM（High Bandwidth Memory，高带宽内存）成了现在的“当红炸子鸡”。HBM 通过将DRAM芯片垂直堆叠，并直接放在GPU核心旁边（通过硅中介层连接），极大地缩短了数据传输路径，提升了带宽。

即便如此，随着模型参数量从亿级走向万亿级，数据搬运的开销依然压得硬件喘不过气。这就是为什么我们在跑本地大模型时，显存大小往往比算力参数更关键。

未来的风向标：以内存为中心的架构

既然算力不是瓶颈，未来的硬件架构会不会发生剧变？

金正浩的观点暗示了未来的发展方向：从“以计算为中心”转向“以内存为中心”。 以后我们可能不再单纯追求 GPU 的 TFLOPS 数值，而是看系统能多快地把海量数据喂给计算单元。

这也就解释了为什么现在各大厂都在疯抢 HBM 产能。对于想入手 AI 显卡或者关注服务器硬件的朋友来说，以后除了看 CUDA 核心数，更要关注显存类型、总线位宽和带宽。

碎碎念：显卡性能的另一种解法

对于我们普通玩家 or 开发者来说，这意味着什么？

1. 选购硬件： 如果你是跑本地大模型，显存带宽和容量可能比单纯的“芯片工艺”更重要。
2. 模型优化： 量化技术（Quantization）之所以火，不仅仅是因为省显存，更是因为它减少了数据搬运量，某种程度上是在绕过内存墙。

所以，下次看着 GPU 监控软件里那个忽上忽下的利用率图表，别怪显卡偷懒，它可能真的只是在等内存把数据“运”过来。硬件的下一场革命，大概率不是算力，而是怎么让数据跑得比计算还快。