AI基础设施的每一层正在同步承压，而机会与误判并存。SemiAnalysis创始人Dylan Patel近日接受播客专访，系统梳理了当前AI基础设施栈的核心动态与投资逻辑。他的判断涵盖模型经济学、内存超级周期、CPU的重新定价、CPO的时间线风险，以及数据中心能源供给的结构性机遇。

针对市场对AI投资回报率（ROI）的普遍质疑，Dylan透露，Anthropic已于今年第二季度实现自由现金流转正，年化经常性收入突破500亿美元， 毛利率超过70% 。在企业端，最新AI模型带来的生产力跃升远超算力成本的增加，促使企业削减其他软件开支以维持爆炸性增长的AI预算。

在硬件演进层面，向推理模型的范式转换正在重构市场需求。Dylan强调， 存储面临长达数年的结构性短缺，仍有2至3倍上行空间； 与此同时，尽管智能体和强化学习推高了CPU需求，但卖方市场对此定价过高，CPU的增长主要来自历史“补账”，其在AI服务器中的绝对价值仍远不及GPU。

Dylan认为，备受市场期待的共封装光学（CPO）大规模落地时间， 则被明确推迟至2028年底至2029年， 意外延长了铜缆连接器的红利期。而电网输配电的受限，正迫使数据中心转向“表后电源”（自建电源），在传统的芯片投资之外，催生出庞大的工业能源和电力转换供应链投资机会。

Anthropic率先造血，AI需求叙事开始落地 对于市场上关于AI企业ROI的质疑，Dylan Patel给出了具体数据予以回应。

"Anthropic在第二季度已经实现了自由现金流为正，4月盈利，5月盈利，6月看起来也会是一样。"他表示，Anthropic年化经常性营收已超过500亿美元，毛利率超过70%。OpenAI的营收也随着Codex采用率的提升快速增长。

SemiAnalysis自身的支出轨迹也印证了这一趋势。去年11月，该公司90人团队年化AI支出不足10万美元；到今年1月底，因Claude Code大规模铺开，这一数字飙升至400万美元年化；目前已达1100万美元，峰值周折算年化一度触及1400万美元。"员工人力成本加上AI成本，AI这部分已经超过了三分之一，年底前很可能达到一半。" 他同时指出，更新、更强的模型在实际使用中并不必然更贵。旧模型可能需要10万个token、10次交互才能完成一个任务，新模型可能只需2.5万个token、1次交互。"每次模型从4.6 Opus升级到4.7 Opus，我们的支出会先下降一周，然后又飙上去——因为大家一看，以前做不了的事现在能做了。"他认为，这也是Anthropic在与OpenAI的竞争中占据优势的核心原因之一： token效率更高，用户综合成本更低。

内存：结构性短缺，而非普通周期 在所有硬件品类中，Dylan Patel对内存的判断最为坚定。

"这不是短期短缺，是会持续多年的结构性短缺。" 他指出，内存产能每年仅增长20%至30%，而AI侧需求正在翻倍又翻倍，两者之间的缺口将持续扩大。

驱动这一判断的核心逻辑来自推理模型对KV缓存的冲击。传统对话式推理的上下文长度以数千token计，KV缓存消耗有限；但以o1为代表的推理模型出现后，上下文长度爆炸性增长，KV缓存随之急剧膨胀，内存成为最直接的受益品类。SemiAnalysis在2024年12月即发布报告，专门指出这一趋势。

供给侧的刚性约束将迫使下游市场重新分配有限内存资源。他预测，价格弹性低的消费电子将率先承压——中低端手机厂商出货量已下降40%，iPhone和MacBook明年价格将上涨。"内存会持续涨价，消费电子被压缩到一个新的水位，直到AI拿到它需要的内存，才算真正够用。"他补充称，即便周期下行届时也会到来，"从波谷到波谷，长期增长是毋庸置疑的。" CPU：补缺行情有限，别过度外推 CPU是今年AI基础设施叙事中涌现的新主角，但Dylan Patel对此持有明确的警示立场。

CPU需求的复苏逻辑清晰：强化学习需要大量CPU来运行环境验证（代码单元测试、模拟操作等）；智能体推理要求模型频繁调用工具、与现实世界交互，这些操作高度依赖CPU算力。与此同时，过去几年大规模出货AI芯片，配套CPU严重不足，目前正处于集中补缺阶段，ARM、英特尔、AMD均已受益，英伟达Vera CPU也给出了200亿美元营收指引。

"但我要给一个重要警示：这里面有大量补缺效应。"他表示，一旦历史欠账补完，后续只剩增量需求，需求将回归正常。从绝对金额看，Blackwell单块约5万美元，CPU约5000美元，即便比例上CPU增配更多，美元量也远低于AI加速芯片。

"内存和AI加速芯片才是大头，CPU是被低估后的重估，现在已经更合理定价了，但不会无限期地以超过AI芯片的速度增长。" 光互连：长期看好，短中期慎对CPO 网络与光学互连是另一个市场情绪高涨的领域，但Dylan Patel对CPO（共封装光学）的落地节奏持审慎态度。

"CPO真正大规模量产，我的判断是2028年底到2029年。" 他指出，目前制造良率、芯片设计和供应链成熟度均未达到大规模部署标准，而英伟达Rubin及其后续架构Feynman仍将使用全铜方案，CPO在GPU侧还需等待数代芯片迭代。

他透露，SemiAnalysis上周刚向机构订阅客户发布报告，中期内反而更看好铜缆和非CPO光学方案，对CPO持谨慎态度。部分下游芯片的设计变更（如Rubin Ultra的Kyber已去掉800V设计）进一步推迟了CPO落地时间。安费诺等铜缆连接器公司将因此比预期获益更多。

"CPO长期会发生，铜缆长期会被取代，但时间线被推迟了，短中期铜缆仍有很大机会。" 电力：自建电源将成主流，创新路径多元 数据中心的电力供给正在成为AI增长最硬的物理约束。按Dylan Patel的预测，新增数据中心用电量今年20吉瓦，明年30吉瓦，后年50吉瓦，增长近乎爆炸性。

他将能源问题拆解为三个维度： 输电、发电与转换。

输电是最难突破的环节，涉及监管政策、地方电力公司垄断结构以及成本分摊机制，短期内难以改变。发电与转换则机会广泛。

他预测，未来几年内，新增数据中心用电的一半将来自"表后电源"（behind the meter），即企业自建电源，而非依赖公共电网。目前主流方案是联合循环燃气机组（CCGT），来自GE Vernova、三菱、西门子等厂商；同时也出现了往复式发动机、工业燃气轮机乃至改装自船用、火车、卡车发动机的非传统方案。"听起来粗粝，但它能跑，而且已经在被人用了。" 更长期来看，他判断大约两年内太阳能加储能的综合成本将低于燃气发电；更远期则是太空数据中心——将计算芯片部署至轨道，太阳能电池板无需穿透大气层，能量密度远高于地面，且无需储能。

转换侧同样充满投资机会，从IGBT、碳化硅到氮化镓MOSFET，以及固态变压器、UPS和超级电容，整条电压转换链路正在快速演进。SemiAnalysis目前规模最大的研究部门，已不是半导体，而是其内部称为"DEI"（数据中心、能源与工业）的团队，追踪全球每一座数据中心与发电厂的部署动态。

以下为访谈全文： 主持人： 欢迎回到下一件大事播客。我是主持人，今天与我同行的有同事Klay Hyman，以及我们的新合伙人、SemiAnalysis研究机构的创始人Dylan Patel。今天是一个特别的日子，我们将与Dylan一起深入探讨当前AI基础设施领域的全貌。Dylan的内容我一直在关注，他的播客出镜率很高，SemiAnalysis的新闻通讯也一直是我的必读清单。最近他们有一篇关于太空数据中心的深度报告，感兴趣的朋友可以去看看，非常详尽。

Dylan，我很想听你聊聊SemiAnalysis最初是怎么来的。我知道在Substack社区里，大家最近都在谈论这家公司的营收和成功，但我觉得很多时候，人们只看到了成功的当下，却忘了背后的旅程和付出了多少心血。

SemiAnalysis的起源 Dylan Patel： SemiAnalysis的起源其实来自网上发帖——用不太镇定的说法就是“灌水”。回想我首先关于半导体的帖子，那是在我十几岁的时候，我就开始在网上发芯片、智能手机、关于智能手机显示屏和智能手机SoC的帖子，虽然那会儿我自己都还没有智能手机，但我就是痴迷于这些东西。游戏硬件、PC硬件、主机硬件也一样，我一直在网上到处发帖子。

到了12岁，我已经在管理和创作很多与Android、苹果、谷歌、英特尔、英伟达、AMD相关的论坛，以及Reddit上跟这些硬件话题相关的各种版本的块。这就是一切的起源——我一直是个“发狂人”，一直在帖子表达自己的观点，一直在回复、思考、接受评论。

我们团队里的人——现在公司已经有90人了，我们甚至有专门的市场部门——他们常哭说：“迪伦，别再回复网上那些乱喷的人了，你这样让公司视野很不专业。”心里我还是有一个强烈的警报，只要在网上批评我，我就想到了。这也许不是一件好事，但确实如此。

整个青少年时期我都在管理这些论坛。等到开始赚钱后，我就开始做投资。后来我做了两个量化交易员，然后创立了自己的公司，但这一路上我一直在不停地发帖。我曾去过匿名博客，匿名发帖，但到了2020年，我对自己的工作感觉厌倦了——做量化交易员的幻灭感，就是说，你确实能赚钱，但并没有想象中那么光鲜。于是我基本上辞掉了工作，开始创业。

我当时并不确定这条路能走多远，但我在自己搭建的WordPress网站上，用真实姓名发帖，内容主题科技、商业、金融、供应链等我最感兴趣的领域——因为我是在一个小生意家庭里长大的。我在佐治亚州一个乡下的旅馆里，我父母经营着这家旅馆，就住在里面。后来我们开了加油站，所以我内部就做生意，一直很喜欢商业。

后来，WordPress网站转成了Substack，开始收费，写遍了整个半导体和AI供应链。四年间我跑遍了世界各地，一年参加四十场会议——从AI研究者的顶级学术会议，到芯片供应链里某种化学原料的行业小会，从服务器到网络再到晶圆制造，上上下下整条栈我都去。有些会议只有三百人，全程日语只有五个人能用英语交流，我也去。有些是一两万人的大会，也去。参加了三届之后，你就真正掌握了这个领域的语言，认识了里面的人，能提出真正有深度的问题，整个生态系统就这样在你脑海里建立起来了。

SemiAnalysis的成长与团队建设 Dylan Patel： 我一直关注技术上的"拐点"——每当在会议上发现某个技术或供应链的变化，我就能判断它会在供应链或财务层面带来什么影响。有些报告纯粹是技术向的，金融界根本不关心；但有些报告就能说清楚这是个瓶颈、这是个拐点、这家公司凭借下一代技术将拿下大量市场份额——而且我能比市场上任何人、任何对冲基金都更早说出来。

2022年Substack越来越大，我开始招人。头两个人是我在Discord上认识了多年的网友。第三个人是Myin，他以前在对冲基金工作，当时要搬到日本陪太太生活，是个"自由身"。我发过一篇文章，说内存是AI最大的输家——因为AI服务器用的内存量比普通服务器少得多。在付费区末尾，我顺带说了一句"我在招人"，Myin就来了。他是第一个有对冲基金背景的人，另外两个是技术背景。他一加入，我们就开始建各种财务模型，业务也从纯新闻通讯，逐步转向信息服务、研究报告销售、数据集销售。

从那以后，雪球就开始往下滚了。从2023到2024年，人数从2人增到7人；2024年底到2025年初，从7人到20人；2025到2026年，从20人到60人；今年又增加了30人，现在是90人。

SemiAnalysis最令人兴奋的地方，在于人才密度——我不知道还有哪家公司能在这种聚焦程度上有我们这样的专业积累。我们有来自ASML、应用材料、泛林半导体这些设备公司的人，有来自英特尔、台积电、英伟达、微软、亚马逊的人，有曾在OpenAI做模型的人，有在特斯拉做FSD的人，有在Cohere工作过的人，有专注数据中心的人，还有一个人在哈萨克斯坦建过发电厂——这种人才密度真的很疯狂。大概一半的人是行业各层级的工程师，另一半是前对冲基金人士，或者从网上找到的、充满热情的聪明人，我在Twitter或Discord上发现了他们，说"你很聪明，来跟我工作吧"，这套方法行得通。

现在SemiAnalysis有很多业务线：数据服务、咨询、信息服务、新闻通讯、媒体，还有即将举办的一场大型会议，是一场相当精彩的旅程。

英伟达GTC现场与"算力之王"腰带 主持人： 说到勇敢的旅程，我想起一个印象特别深的时刻。WisdomTree 和 SemiAnalysis 已经合作了好几个月了。今年三月的英伟达 GTC 大会上，我当时在北卡罗来纳州夏洛特市看直播，据说当时有 5.5 万人在线观看直播，现场体育馆里还有 2 万人。

Dylan Patel： 是的，成年人里确实有 2 万人。

主持人： 黄仁勋在台上直接点名提到了你，说你说他“藏着掖着”某个数字，你做的图表当时就直接投影在了台上。我当时——我猜是替你——都有点激动，看着全球市值最大公司的CEO在台上直接回应你的研究，回应你对他某些数据表述的质疑。能聊当时的场面吗？听起来你当时就在热闹的现场。

Dylan Patel： 那一刻确实非常超现实。SemiAnalysis 做的其中一件事，是我们有一批工程师专门针对所有开源 AI 模型以及硬件做开源基准测试，这是一项相当不起眼的工作。我们和整个行业保持着紧密的合作关系，比如硬件方面，我们从 OpenAI、微软、亚马逊、谷歌、Coreweave、Nebius、Crusoe 等公司获得了超过 5000一美元的硬件捐赠，甲骨文也捐赠了硬件给我们用于运行这些测试。

我们手上有八种不同型号的GPU：H100、H200、Blackwell，还有AMD的各流GPU；另外还有谷歌的TPU和亚马逊的Trainium。我们每天都会用最新版本的软件跑基准测试——因为每天晚上都可能有新的CUDA版本发布、新的PyTorch版本发布、新的驱动更新，或者推理引擎（比如vLLM、SGLang）出新版本。我们每天都会跑一条整条性能曲线，最快的“每秒生成代币速度”与“成本实现”之间在各种最优化场景下的关系，这是一套的基准测试系统。

黄仁勋最初发布 Blackwell 时，曾获得一些性能会提升 25 倍。当时没人相信他——毕竟觉得这是黄仁勋，大家都觉得这是黄仁勋营销话术。就连我们当时这么想的，我们比较看好，觉得可能有 15 到 20 倍的提升，这是基于我们自己做的仿真模拟。我们有一套性能仿真器。但等我们真正做出 InferenceX 推理基准是测试系统之后，我们发现，在 DeepSeek V3上，布莱克威尔在某些指标上的性能其实比霍珀快了30倍。

结果一我就给他发了邮件——因为测试结果会自动发布到开源的GitHub上，这是一个开源合作项目，英伟达那边的人也参与并共耗情况，但我特意告诉他：“嘿Jensen，2024年你发布Blackwell的时候说是25倍，当时所有权都在喷你，我也喷了你，说不可能有25倍，最多15到20倍。”很多人当时说的是“顶多” 3倍”。所以我们的判断其实相对乐观，但结果证明我错了——Jensen，你确实是“藏着掖着”了，实际上是30倍。

他后来把这个用起来了，我一开始不知道他会拿做什么。后来听几位客户提起，说Meta内部有个会议去，Jensen用这个数据来证明自己没有“注水”，因为当时他正在介绍下一代芯片。显然后来就发生了这一切，我完全不敢在台上被提起。

另外，我们在 InferenceX 里做了一条领导，看起来像 WWE 摔角领导项目那样，上面写着“Inference King”（推理之王），我们把它传达给了所有的合作伙伴——传达了英伟达、AMD，还传达了 SGLang、vLLM团队等所有帮助我们做基准测试、捐赠硬件的人，因为这是一个开源项目，我每年在工程师工资上投入了几百万美元，其他合作方也在硬件或工程师工资上投入了几百万美元并无偿捐赠支持这个开源项目。

我把这条指示传达了他，结果他在幻灯片上举着这条指示，配上我们的图表，整整讲了五分钟，说“迪伦说我藏着掖着，但其实没有，我们的成绩是最好的”。这真是个非常超现实的瞬间。他提到了我们的文章宽度比整场演讲中提到的其他人或公司都要长，最后提到文章宽度能相提并论OpenClaw，这个产品今年确实火遍全球。所以那真是一个令人难忘的时刻。

AI需求侧：ROI问题与Anthropic盈利 主持人： Dylan，你提到了相关开源的话题，我想引导转向最近的一些行业动态，以及市场层面的一些讨论。目前初步有明显关于开源模型和闭源模型推理效率的讨论，同时也引起了很多投资者质疑整个行业的投资回报率（ROI）。就在最近一段时间，我记得彭博社的一位经济学家谈话，很多公司的人工智能项目可能正在“失败”。而你之前提到你们公司在广泛使用人工智能，给员工提供大量的代币使用增量，持续持续招人。我很好奇，你怎么看待需求这个问题——这种需求推动了当前这一轮大规模基建投入，尽管过去一个月（最近这几天）市场对相关个股的追捧其实填充了各种补充端的否定因素。

Dylan Patel： 关于这个“投资回报率”的核心问题——公司到底能不能从AI上赚到足够的钱？这种现状能否持续？利用AI的公司是否真的获得了价值？——我觉得可以从几个角度来拆解。

首先，Anthropic目前是自由现金流为正、且已经实现盈利的，就是这样的表现。4月份账本结算结算后，公司实现了盈利，自由现金流为正；5月同样如此；6月看起来很明显这个趋势，虽然月度账目尚未完全清零，但三个月里结有两周确认盈利并同时为正。他们经常性的盈利性收入已经突破500亿美元ARR，表现相当出色。这是一个可爱的一面——Anthropic正在“印钞”。当然也有很多公司还没有到这个阶段，但正在朝这个方向发展，比如OpenAI的随着Codex采用率的提升以及其他产品的增长，也开始出现拐点。

Anthropic的盈利能力都在不断提升，毛利率非常高，超过70%。

但这只是硬币的一方面。另一方面，你提到的，是公司在AI上的支出问题。就拿我们自己举例，我们把这个叫做“年化经常性支出”（ARS，年度重复支出，区别于ARR）。去年11月、如果克劳德代码真正移植，我们的年化经常性支出还不到10万美元——当时我们之前给每个员工都订阅了各家模型的高级套餐，比如ChatGPT的200美元档，如果有人想用 XAI 或 Claude，我们也提供，但主流做法就是给所有者开通 OpenAI 的 200 美元套餐。这是去年 11 月的情况，我觉得当时我们已经走在前面了。

但随着 Claude Opus 4.5、4.6 等版本的推出，Claude Code 真正迎来了拐点。到今年 1 月底，我们的年化经常性支出已经达到 400 万美元，因为这完全是开始大量使用 Claude Code。而现在，这个数字大约是 1100 万美元。如果按周支出乘到 52 周来算，目前平均水平大概在 1100 万美元左右，最高的时候达到过1400万美元。这个数字会因为大家当前在做工作而大幅增长，但目前大概是一家 90 人公司每年 100 万美元左右的 AI 支出。这个数字确实相当惊人——我们在 AI 上的支出已经相当于员工招聘支出的三分之一左右，而且随着 Methos 等新模型陆续推出、性能不断提升，到年底可能会达到二分之一。

这是一笔巨大的支出。问题是，投资回报率如何？我认为回报是巨大的，因为我们能够因此构建产品、提升销售、提高公司每个人的效率。所以我看到了实实在在的回报，但我理解很多公司确实在质疑：如果一个优秀的开发者年薪 30 万美元甚至更高，那么在 AI 上的支出正在逐渐逼近 1 :1 的比例。对于非开发人员来说，支出比例会低一些，但即使在我们公司，很多消耗最多的人恐怕是那些不会写代码的人——他们只是不断地跟模型说明需求，反复迭代，最终得到想要的结果。

所以我们看到最后员工的支出达到高峰，很多公司现在都在合理地质疑：“我们的季度人工智能预算在第一、第二季度就花光了，接下来怎么办？”问题是，到底是削减了人工智能支出，还是从其他地方削减了？我很多看到公司选择从其他方面削减，比如砍掉历史上一直在用的其他SaaS产品，理由是“我们刚刚可以加速增长”“人工智能支出可以先扛一扛，这就是人工智能”确实，随着使用量的激增，半年前需要花多少钱做的事，现在成本已经大幅下降了——当然现在用AI做的事情范围也比半年前要广了。不同公司采取的策略各不相同：有的甚至选择裁员来省钱而不是削减AI开支，有的则限制选择AI使用，但我认为即将在生产力提升和产品开发能力上被甩在后面。

模型选择的经济学：更便宜的模型 vs. 更新的模型 主持人： 明白了。那么，缓解增量成本的一种方式，是选择更便宜、有时智能程度稍低的一些模型，而不是总是使用最前沿的模型。这方面的讨论虽然还处于早期阶段，但我很好奇：像你们这样的公司，是否会认为某些应用场景更适合用类似 DeepSeek V4 这样的模型，而对于需要更高智能水平的任务，需要使用成本更高的模型？这是否也是你们决策考量的一部分？

Dylan Patel： 对某些场景来说，这确实是决策考量的一部分。这里需要把AI工作负载回顾两类。第一类是“AI集成集成进现有流程”——比如客户发来文档，我需要检查其中的某些内容，把它输入模型，模型检查完成就结束了。在这种场景下，我只需要达到某些质量模型，之后就停止追求模型升级，转而通过等待更新、更便宜的模型来降低成本。我们观察到AI模型的成本几乎每次都可以回归60倍——相同水平，一年后的成本就能降到六十分之一。DeepSeek此时让大家如此震惊，是因为它比GPT-4便宜了600倍，而这中间大约经历了两年时间，相当于60倍乘以60倍再乘以某个系数，最终达到了600倍。所以曲线大致轮廓终结了“每年降低60倍到90倍”这个区间，DeepSeek V3质量GPT-4 两年内降低了 600 倍。如果你的工作流程已经把 AI 嵌入其中，那策略就是先达到一定的质量水平，之后转向更便宜的方案。

第二类工作负载是“AI助手”型的，这方面其实有一个常见的误解。如果是我日常工作中让模型帮我查找信息、解决问题，成本优化的方式其实不会换用更便宜的模型，而因为往往是使用最新的模型。最新模型往往效率更高：比如Claude Opus 4.6完成一项任务可能需要10万个Token，还可能需要好几轮来回沟通，持续10分钟；而Claude Opus 4.8完成同样的任务可能只需要四分之一的代币（2.5万个），而且可能来一次就搞定了。这样一来，成本反而相反，因为生成的代币数量少了，我花费的时间也少了。

所以对开发者或从事工作的人来说，降低成本的方式并不是换用更便宜的模型，而是究竟需要反复调试、覆盖多代模型才能完成的任务，逐步变成一次迭代甚至一次直出（one-shot）才能完成的任务，用更少的 Token 完成同样的工作。从 Opus 4.6 升级到 Opus 4.7这时，我们的成本确实先下降了大约一周，然后又反弹上升，因为大家开始更地使用它了。间隙会反弹，是因为人们需要适应新的工作流程——到底做什么的工作现在做完了，然后“再多做点其他”，于是用量又上去了。同样地，Opus 4.7升级到4.8这时，成本也先恢复了大约一周半，又恢复了，因为大家意识到“现在我可以做更多的事情了”。所以你必须把生产力提升和成本一起降低。

对于“AI助手”这类非常场景，Token效率其实很关键，这也是Anthropic能够在这方面领先OpenAI的原因之一。

实际上，OpenAI的模型在一些极限场景——比如顶尖的科学研究、数学、代码任务上——往往能完成Anthropic模型做不到的任务，但运行时间是三倍，Token消耗是四倍，因此成本要高，人机之间的反馈循环也不够快，从客户体验角度来说反而更差。因为“让回来模型是否做一件事，然后检查完 成”是一回事；而“我有四个小时要完成一项任务，是模型一次调用才能持续四个工作，或者需要来回调用四小时”，这是另一回事——事实证明，在这种人机反馈循环的场景下，人性化的模型代币更高的效率，反而做得更快更好。这也是为什么我们目前仍然主要是 Anthropic 的重度用户。有些任务大家会用 OpenAI，通常是那些可以“挂机过夜”、消耗实时搜寻的任务会破解 OpenAI 的 Codex，但大多数任务大家还是用 Claude Code 所以关于模型和代币效率的问题，成本其实很难一概而论：有些任务是“先固定模型质量，等成本下降自然”，而另外一些任务“我就是用最聪明的模型，因为它反而更省”。

内存：从大宗商品到超级周期 主持人： 我想把焦点转向硬件方面。我知道你们今年早些时候在通讯里发过一篇文章聊内存——我一直是你们通讯的忠实读者。内存市场历来都有周期性，大概是18到24个月一个上行周期，18到24一个月一个下行周期。而目前的情况是，几乎所有和数据中心相关的货物都遇到了状态——需求已经不是“拿不到货”的问题，而是“要等多久才能拿货”的问题。以你在硬件领域的经验来看，内存这种历来被视为大宗商品化产品的品类，未来会有什么变化？

Dylan Patel： 我不是说内存周期性会消失，肯定周期还会存在。目前我们正面临一个超级上行周期，未来也一定会有下行周期，而且下行时会相当剧烈。但即便如此，从波谷到波谷来看，整体依然是增长的。

我认为现在关于内存其实其他一些真正值得关注的，是行业格局本身正在发生转变。历史上，牵引上行周期大概意味着市场增长50%，对于像内存这样的大宗商品市场，定价弹性加大，相关股票可能会翻两三倍。但这一次不一样：几年过去，整体开支已经翻了好几倍，而且继续翻倍。

同时，各个终端市场的需求也不同——价格内存已经涨了差不多4倍，未来还可能再涨2到3倍。再加上产能的增长，所以这些股票将会急剧激增，之后自然回落。

我认为这个波真正令人兴奋的地方，不仅仅是“市场在暴涨、个弹性大宗商品”这么简单。我们在2024年就写过一篇文章，当时OpenAI发布了o1，第一个推理模型，它开启了新的诱发推理模型的浪潮——OpenAI、Anthropic、DeepSeek等公司都在让TD模型执行更长的智能体（Agent）任务。当时我们注意到，这是o1出现后，工作负载模式发生了显着的变化。

用ChatGPT聊天时，你发送一个提示词，可能是50个词也可能是500个词，模型给你一个回复，这个来回中的上下文长度只有几千个Token，也就是说2000个Token。这意味着在做推理时，每生成一个Token，都占用全部权限重读入芯片，把全部上下文读入芯片，处理一个Token，然后再重复这个过程——重新读取一个内部和权重。这个过程被称为KV缓存（KV Cache），它构建了所有Token之间的关联关系。

脉动的，无论上下文长度是 1000 还是 10 万，模型权重部分的内存读取需求是一样的——相反，权重端的内存密集度不会因为长度变化而改变。但 KV 存储端就不同了：上下文完全是 1000 个 Token 和 10 万个 Token，对内存的需求差异巨大，重构所需的计算量大致相当。服务器本身可以做一定的服务器优化，计算成本不会因此暴涨，但内存成本会激增。

所以我们在2024年12月那篇关于o1的文章里就指出，随着预演的缩放法逐步让定位强化学习驱动的缩放法，o1是一个重要的拐点，我们判断KV存储需求将因为推理模型的兴起而爆炸式增长，内存将最大。我们是在2024年12月提出成为这个判断的，2025年年也多次强调对内存的看好。但真正的关键要素是今年（2026年）1月，我们发表了很多一篇文章：当时市场上人们认为内存价格已经涨了50%，是不是已经见顶了？还需要不需要继续看好？我们当时明确表态：不，市场还没有搞清楚问题。

未来三年内存产能每年只能达到20%到30%，而需求却在翻倍。这意味着内存价格会持续走高。那些价格弹性较低、无法适应涨价的用户——比如智能手机、笔记本电脑厂商，会因为成本飙升而被市场市场，产能会因此让位增长给AI。数量，会不断上涨，直到那些非AI用户被垄断市场前景，因为产能已经跟不上需求。所以我们当时的核心判断是：内存不是短期的短缺，而是会持续数年的结构性短缺。

从今年一季度到二季度，内存市场确实是一路高歌猛进，虽然中间也有过因为某些偶发因素单日下跌7%、8%的情况，但整体走势一直是向上的。虽然这不构成投资建议，但我们认为这个趋势还会继续，因为价格还会持续上涨——我们已经看到一些中国的中低端智能手机厂商的出货量已经超过了40%，但高端市场目前还没有明显受到冲击。明年iPhone的价格必然上涨，MacBook的价格也必然要上涨。如果现在MacBook或iPhone价格只涨100美元，市场不会有意外反应，但内存价格会持续走高，直到智能手机价格不得不上涨数百美元，而不是100美元。

这个过程会一直持续到市场找到新的平衡点——AI获得了足够的产能供给，消费电子和移动设备市场被压缩到一定程度的状况。当然，消费者还是要买新手机、新电脑的，所以他们仍然会购买，但因为内存产能增长跟不上需求，整个市场需要重新找到一个新的平衡点。

从整个产业链来看，真正重要的是：不同的定价弹性不同。比如台积电的定价就不是那么有弹性——他们是一家非常注重长期合作关系的公司，愿意每年温和提价5%到10%左右。而内存构成一个大宗商品市场，价格应该完全由现货市场和合约市场的供需平衡。所以你会看到这两类公司在定价机制上异构的表现，未来决定内存的价格腰也可能斩——因为内存这类产品根本不会长期维持85%的毛利率。虽然目前内存毛利率还没有到85%、90%，但正在朝这个方向发展，之后自然也会回落到70%甚至更高的水平。所以内存价格会经历这样的周期性波动，而像台积电、ASML这样的公司，定价变化就没有那么明显。

不同阶段的波动幅度取决于两个因素：一是AI市场需求向该市场活跃的比例——供应链中不同的波动，每一美元AI支出可能只带来1美分的收入，也可能带来5美分的收入；二是该细分市场的竞争格局——是垄断或寡头垄断市场，还是竞争充分的大市场？定价是相对稳定、以长期协议主导，还是完全由供需的决定决定大宗商品市场？这些因素大家共同了内存、以及现在在的MLCC（多层陶瓷陶瓷头）、PCB 铜箔等各种解析是否会成为下一个“后续热点”。你会不断看到网上冒出各种“这是下一个声音”的说法，但真正重要的是：这个需求的出现力度到底有多大？这个市场需求是翻倍、增长50%，还是翻两番？以及基于市场结构，价格到底能涨多少？才是这些真正的供应链走向的关键因素。

CPU仅是“补账”行情，长期主导仍是AI芯片 主持人： 如果按照你刚才描述的六大分析框架，市场似乎每年都会“惊觉”某个新的潜在暗示相当于。今年早些时候是 OpenClaw 的爆火，让大家开始关注 AI 智能体（Agent）的世界各种可能性。我很好奇，按照你刚才描述的六大框架，你怎么看 CPU 市场？过去三年里，AI 领域几乎没人提“CPU”这个词，但今年 CPU 却成了全世界都在讨论的话题。

Dylan Patel： 是的，关于CPU这块，我们其实在去年11月的机构研究报告中就开始大量讨论了，原因是OpenAI和Anthropic当时开始和亚马逊、谷歌、微软等公司提出协议，购买这些公司云平台上所有的CPU资源并租用。从去年年底到今年，CPU需求一直在持续拐点增长。

先说说原因。AI早期是训练还是推理，推理主要是短上下文的场景，主要依赖的是计算力和网络能力。但随着预训练模式向强化学习的转变，以及聊天式推理向智能体（代理）推理的转变，CPU需求出现了一个很大的拐点。

预训练本质上就是把整个互联网的数据集“喂”给模型进行训练；而强化学习为什么是模型自己生成合成数据或推理得分，然后得到一个“环境”中去验证。这个环境可能是运行代码单元测试，可能是一个模拟网站的沙盒环境，也可能是模拟某个工程系统或其他平台的沙盒——比如购物等你在互联网上会用到的场景。这些环境验证过程需要大量的CPU资源。而在预训练阶段，Token处理本身并不需要太多CPU，真正的积分计算力是“环境验证”这个阶段——比如我生成了这些Token，接下来要判断它们在Python编译器、C语言编译器或者某个网站里是否有效，是否符合逻辑。

如果是一个电商类的智能体工作流程，模型需要不断测试各种操作，这些都需要大量CPU。反过来看实时推理的场景：以前做聊天式推理，比如我问一句、模型回答一句，交互就结束了，也许我还会追问几句话，但也到了这样的结局。但现在的智能体工作流是模型在不断进行“工具调用”（Tool Call）——比如去搜索信息、查询数据库、调用Python解释器编写一段代码来验证结果，或者编写代码并编译部署。这些智能体工作流程需要不断地与真实世界进行交互，因此对CPU的需求会越来越大。

以前是人和模型交互——我告诉模型一件事，模型给我一个回复，我读完之后自己复制粘贴去用。现在把模型和互联网世界在交互，这个中间就需要更多的计算，更多的AI参与，也就意味着需要更多的CPU来回处理这些交互结果。所以无论是强化学习还是智能体工作流，都需要大量的CPU资源。

问题来了：需要大量CPU，那个市场结构是怎样的呢？目前市场上的主要玩家有Intel、AMD，ARM现在也开始推出自己的CPU，因此现在ARM的股价表现非常亮眼，因为它是这个市场里颇具竞争力的新进入者。另外，亚马逊、微软、谷歌都在推出自研CPU，其中亚马逊目前是这方面的领跑者。英伟达也在自己的CPU中。

所以现在市场上有很多竞争者，但实际上直到两年前，整个市场基本都是英特尔和AMD的天下。现在亚马逊已经获得了相当大的市场份额，英伟达和ARM也开始获得更多支出。最终的结果就是：英特尔能够再提价，AMD也能提价，总共都提高了价格，需求也大幅增长。亚马逊不是“生产芯片卖出去”，而是“生产芯片再租出去”，所以从能CPU上获得极高的利润率——他们的Graviton CPU租用需求只是非常旺盛，订单量大幅增加。英伟达之前把CPU搭配GPU一起卖，现在开始单独销售CPU（比如Vera系列），他们给出的CPU业务排序为200亿美元。对英伟达来说，这其实还算不上什么大数字，只是几个百分点的增长——开玩笑。但对英特尔、AMD、ARM、亚马逊这些公司来说，这块透明（据说包括住房收入而不只是销售收入）的意义就非常大了。

主持人： Dylan，连接CPU这个话题，我听说智能体的CPU在某些方面和传统CPU有所不同——核心架构更装备智能体的工作负载，这是我记得黄仁勋在谈到Vera CPU时提到或暗示的。另外还有很多关于“GPU与CPU”配比”的讨论，这显然也反映了需求方向的变化。能否详细讲讲这几个方面的情况？我觉得这个概念在宏观层面大家都能理解，其中一些技术细节可能大家都忽略了，我也不确定这到底是纯粹的市场营销，还是确实有其事。