越来越值钱的互联：从存储到AI 推理这条路，能让 GPU 少等一会儿，是被95% 的人低估了的万亿市场
这篇文章我陆陆续续写了一周，内容非常干。想把握住下一个光互联的万亿市场，这篇值得认真读完收藏。存储越扩越大，怎样把数据及时送回来。沿着这个问题，才能看清连接芯片和光互连凭什么拿到下一笔预算，为什么这是一个确定的机会？
https://www.marvell.com/blogs/marvell-structura-x-extends-cxl-nvidia-vera.htmlAI 训练和推理本质上是矩阵运算，大家高中一定都学过。矩阵中的每个数字都存在存储里，而计算发生在 GPU
相信聪明的你一定发现，能不能把算力发挥到极致的关键，就是每算一个数，从内存拿过来的速度是不是足够快。如果一秒钟只能拿 10 个数，而 GPU 一秒钟能算 100 个数，那内存堆得再多、算力再快，也没有用
之前写“打破内存墙”时，我把两个麻烦分开讲过。一个是装不下，模型和运行时的数据超出了内存容量。另一个是搬不快，计算芯片要用的数据迟迟送不到，算得再快也得等
这篇接着往下追问。把一部分数据挪到外部内存（CXL + DDR5），确实能腾出 GPU 身边的位置。但数据放远了，访问它就多了一段路。扩出来的容量有多少能派上用场，开始取决于这段路能不能跟上计算。
当更多数据放到 GPU 外面，连接就越来越影响客户能怎样配置内存，也影响同一批 GPU 最后能完成多少工作。这是我看好 connectivity 的理由
这里的 connectivity，指计算芯片、内存和不同机器之间传数据的能力。它包含接口、控制器、交换和实际传输链路，软件负责决定把哪份数据送到哪里。只看线缆有多快，还看不全这门生意
看完这篇文章，你能够了解到：
- 为什么给 GPU 接上更多内存，它仍然可能在等数据。
- Connectivity 如何帮助系统复用缓存、减少重复计算，让同一批 GPU 完成更多工作。
- HBM、外部内存和光互连各自解决什么问题，为什么它们可以同时受益。
- 美光、海力士和 Marvell 分别赚哪一部分钱，以及技术进步还要经过哪些验证，才能变成收入和利润
一、先看 GPU 在等什么
GPU 旁边的 HBM，是专门提供高带宽的内存。模型参数、正在处理的请求，都要占用它。单个请求的上下文越来越长，同时服务的请求越来越多，容量就会紧张
里面有一类很值得单独拿出来看，叫 KV 缓存。
如果你还不太了解，想做 Pro 级别的学习者，欢迎回看之前我的 KV 缓存学习的帖子https://www.usenix.org/system/files/fast25-qin.pdf#page=12
模型读输入Prefill时，会算出一批供后续生成使用的中间数据，KV Cache。把它们留住，后面就能继续用。它们占多少地方，和模型结构、数据精度、上下文长度有关。体积可以比原始文字大几个数量级
复用也有条件。使用同一个模型、输入开头有相同的一段内容，已有缓存才可能直接接着用，我们叫 prefix caching，用于避免重复计算，省内存，省算力。vLLM 的前缀缓存说明解释了这个限制。
当请求暂停，系统可以把暂时不用的缓存移到外部内存，给 HBM 腾出位置。之后相同的输入前缀又被用到，就把缓存取回来。要是旧缓存已经丢了，GPU 就得重新处理那段输入
这笔取舍可以用一个具体场景来理解。假设两次请求使用同一个模型，输入开头都是完全相同的一段长文，最后的问题不同。第一次由机器 A 处理，它的 GPU 算过这段长文，并把中间结果存成 KV 缓存。第二次轮到机器 B 时，如果能取来这份缓存，就可以省掉一部分重复计算，继续处理新增的问题、生成回答
只允许使用本地缓存时，A 处理完如果交给 B，而 B 自己没有这份缓存，它仍然得重新算。允许跨机器共享以后，B 就可以通过网络取来 A 保存的结果，系统也可以提前把常用缓存复制到需要它的机器上。这样，同一份已经算好的结果，就能被更多机器用起来，在内存紧缺的当下格外关键
Moonshot AI 与清华大学的 Mooncake 论文 比较了这两种做法。为避免把增加机器或内存带来的收益混进来，两组都使用 10 个负责处理输入的节点，每个节点的缓存额度都约为 300 万 token。主要差别在于，已有缓存能否跨节点共享和迁移。
结果，在工具与 Agent 工作负载中，共享方案的平均输入处理 GPU 计算时间减少了 26%。这个输入处理阶段叫 prefill。把原来的平均计算时间记为 100，共享后约为 74，省下来的时间让 GPU 有机会处理其他请求
连接在这里的作用，是把其他机器上已经算好的结果，送到需要它的 GPU。 软件要找到可以复用的缓存，网络要把它搬过来
二、同一份缓存，搬一次和反复搬差得很远
拿千问 Qwen3-32B 模型举个例子。
当用户问他一段长文本时，GPU 会产生大量中间计算结果，并把其中一部分保存下来，供后续回答继续使用。这些保存下来的结果，就是 KV 缓存，我们上个章节聊过
根据千问的官方配置推算，在用户的一次文档读取请求，一次请求的 KV 缓存就约占 8.6 GB，可见对存储的消耗
这里的 8.6 GB，是模型处理文字后留下的计算数据。它可以比原始文字大很多。但这只是特定输入长度和保存精度下的例子，普通的一句提问未必需要这么多内存
接下来，我们就拿这份 8.6 GB 的计算记录，看看放在哪里、怎么读取，会带来什么区别
第一种方式：需要的时候搬回来，放在 GPU 身边反复用
比如，你暂停了一段对话。系统可以先把相关缓存移到外部内存，把 GPU 身边的位置腾出来，供其他用户任务使用。等你继续提问，再把缓存搬回来。
假设连接通道每秒最多能传 50 GB，搬回这份缓存，理论上至少需要：
8.6 ÷ 50 ≈ 0.17 秒
实际还会有排队等开销。如果重新计算这些内容需要更久，花这段时间取回已有结果，就可能划算
搬回来以后，缓存保存在 GPU 身边的高速内存，也就是 HBM 中。GPU 后续仍然需要反复按需读取它，转移它，如此往复
第二种方式：一直放在远处，每生成一点内容，都要再去取。
AI 通常是一小段一小段地生成回答。每次生成的文本小片段叫作 token
现在假设一种不同的设计：这份缓存始终留在远处，GPU 身边没有保留完整副本；每生成一个新片段，都需要通过外部连接，把已有缓存完整读取一次。
如果希望每秒生成 40 个片段，就意味着一秒钟要读取这份缓存 40 次：
每次 8.6 GB × 每秒 40 次 ≈ 每秒 344 GB。
问题就出现了：这套设计每秒需要传输约 344 GB，连接通道每秒却最多只能传 50 GB。数据送不过来，GPU 就得等，无法维持设定的输出速度。这时候 GPU 就闲下来了，等于白白浪费
远处再增加内存，也只能增加“能存多少”，无法直接提高这条通道“每秒能送来多少”。
这也是 HBM 仍然有价值的原因。正在参与计算、需要被频繁读取的数据，适合留在 GPU 身边；暂时不用、适合保存或共享的数据，可以放到外部。连接帮助 GPU 利用这些外部数据，而具体放在哪里，还要看读取频率和传输速度。
这里插一句，这些内存的管控和调度，很多时候都是由 CPU 完成的，这就是为什么最近 AMD 和英特尔涨得这么厉害。
这篇文章篇幅有限，先不展开。大家如果感兴趣，后续我可以专门开一章，讲讲 CPU 在 ARM 中的新定位。
三、当数据要跨机柜，光为什么更有吸引力
外部内存可以接在同一台服务器，也可以放在别的机器里。共享范围扩大以后，请求能用到更多已有数据，系统也有机会减少各机器重复保留的副本。但访问距离更远，同时争用链路的请求也可能更多。
因此连接要解决的事情，除了峰值带宽，还有繁忙时的排队、每次传输的延迟，以及搬这些数据要付出的功耗。
铜连接在短距离里有成本和工程上的优势。随着速率提高、距离拉长，电信号的损耗和维持信号质量的功耗更难处理。光互连的吸引力在于，在合适的距离和带宽需求下，它能让更大范围的连接变得可行
https://engineering.fb.com/2022/06/20/data-infrastructure/transparent-memory-offloading-more-memory-at-a-fraction-of-the-cost-and-power/这并不意味着远端内存会自动拥有本地 HBM 的性能。光解决传输中的一部分限制，接口、交换、内存本身和软件调度仍会影响结果。
NPO 和 CPO，就是把光电转换的位置往主芯片靠近的两类办法。前者把光引擎放在芯片封装附近，后者进一步与主芯片共同封装，目的之一是缩短高带宽信号要走的电连接。代价是散热、光纤连接和维修变得更讲究。相关技术综述也讨论了这些工程限制
还要把两种用途分清。GPU 之间交换计算数据，是一类互连需求；CPU 计算端访问外部内存，是另一类。两者都可能推动光连接，但具体协议、器件和采购并不相同
Marvell 在 FMS 展示的 Photonic Fabric，针对的是用光连接扩展共享内存。下面这条官方介绍，可以帮助理解它想连接什么。
官方原帖发布于 2026 年 8 月 31 日，介绍此前的 FMS 演示。展示说明方案走到了哪一步，规模采购还要另看客户采用。
四、沿着这条数据路径，看 Marvell 卖什么
读到这里，再看产品名字就容易一些了。客户在内存有限的当下，要提高内存的复用率，需要把内存连起来，得让主机认得这块内存、能访问里面的数据。
CXL 是一种互连协议。它允许兼容的主机通过相应链路访问扩展设备中的内存。外面那批 DRAM，需要控制器接进来；如果要让多台主机使用一个更大的内存池，还需要交换、资源管理和配套软件
Marvell 的 Structera X 就在做内存扩容控制器。公司 8 月的产品资料称，X 2404、2504 已经出货，并用于超大规模客户部署，其中一个用途是继续利用已有 DDR4 内存。对客户，这是把现有资源用起来；对 Marvell，则是多卖出连接这些资源的控制器
9 月 9 日，Marvell 又披露了 Structera X 与 NVIDIA Vera 的 CXL 互操作测试。这里的 Vera 是 CPU。测试验证的是这条 CPU 内存扩展路径，GPU 如何利用其中的数据，还要看系统设计和软件。商业上，它说明又跨过了一道兼容性验证，客户会不会持续买，是下一步。
同一套系统里，Marvell 还能提供 Structera S 交换芯片，负责连接和分配内存资源；Alaska P 信号调节芯片则帮助高速 PCIe 链路维持信号质量。下面这套 Intel 平台展示，把三个位置放在了同一个系统里。
https://www.marvell.com/blogs/photonic-fabric-technology-optical-connectivity-ai-infrastructure.html官方原帖发布于 2026 年 9 月 10 日，回顾此前的 FMS 展示。每套系统会用多少颗器件，仍取决于客户的具体配置
再往更大共享范围走，才到前面提到的 Photonic Fabric。Marvell 的技术说明里，外部内存模块同时使用 DDR5、HBM 缓存和光连接。DDR5 提供容量，模块上的 HBM 承担缓存作用，光连接负责与计算端传数据。
这个组合很值得琢磨。内存往外扩，HBM 仍可能出现在新的位置；连接也随之增加了用途。美光、海力士与连接供应商，有机会同时参与这笔采购
Marvell 的收入来自自己卖出的器件和方案。客户采用了多少套系统，每套用了多少 Marvell 产品，各自售价和份额是多少，才决定它能拿到多少收入。整套系统省下的钱，不会全部变成供应商的利润，收入里还要扣产品成本、研发和交付费用。因为这篇不是讲 Marvell 的投资文章，所以版面原因就暂时略过
目前的证据中，部分 CXL 扩容产品已有部署，Vera 路径完成了互操作验证，光共享内存还需要更多客户导入证据。我会按这三个进度分别看，尤其关注已经部署的产品有没有后续采购。
五、连接值多少钱，要回到客户的账上
我们已经看到连接能解决什么，最后还得算它值不值得买，客户为什么要买它？为什么算力已经被很好定价，而内存墙已经出现的前提下，互联的地位越来越重要？
假设在同一段时间里，一套GPU系统原本花 100 元，完成 100 份达到质量和响应速度要求的任务。加上外部内存、连接，以及新增的用电和运维等成本后，花费变成 110 元。
如果能完成 130 份同等要求的任务，每份成本就是 110 ÷ 130，约 0.85 元，比原来降低 15.4%
这是一组教学假设，用来说明怎么算账，不代表任何产品的报价或实际性能。
客户愿意多花钱，是希望同样一批GPU设备多干活，或者完成同样的工作少花钱买存储
现实里，企业已经在这样算账。
Meta 在 2022 年披露过一种做法：把不常用的数据移到压缩内存或 SSD 等位置，减少对普通内存的占用。这套方案从 2021 年投入生产，已用于数百万台服务器，节省了约 20%—32% 的内存用量。这是内存用量的下降，整套服务器能省多少钱，还要把其他成本一起算进去。Meta 工程团队说明
Marvell 则提供了另一种办法。公司在 2026 年 8 月披露，Structera X 扩容控制器已经出货并用于超大规模客户部署，其中一个用途，是让客户继续利用已有的 DDR4 内存。旧内存还能接着用，客户就有机会少买一部分新内存；Marvell 则通过卖出扩容控制器获得收入。**具体能省多少，仍取决于客户原有设备和新增方案的成本。Marvell 产品说明
这两个例子也说明，客户有不同的省钱办法。有时改软件就能省下一笔，有时需要增加连接芯片。客户会比较哪种办法更划算，也会比较不同供应商的报价。
所以，客户省下的钱，不会全部变成 Marvell 的利润。 Marvell 要真正赚到钱，需要客户购买它的产品；收入里还要扣掉制造、研发等成本。
对美光和海力士，也要分别看。有的方案会增加新内存采购，有的方案会让旧内存用得更久。最后新增了多少订单、卖价怎么样，才决定它们能受益多少。不能看到“扩内存”，就认定所有内存厂商都会同样受益
这不是一篇深入 Marvell 的投资文章，因此这块儿不会展开，这篇文章主要想讲一下光互联在 AI 时代的地位，并且科普这个方向有多么的确定性。后续我会在 9 月的当下重新梳理 Marvell，给大家带来深入的讲解
因此，下一次看到“带宽提高多少、内存扩到多少”的发布，我会继续追问：
使用了互联之后，客户实际多完成了多少工作？总共多花了多少钱？总共省了多少钱？
这篇文章如果能看完，相信你已经完全搞懂了互联的机会，其余的就是考察我们的耐心和纪律。美研芒格君 · @Kay2289123
本次修订于 2026 年 9 月 11 日