About this episode
This episode features Reiner Pope discussing the training and deployment of AI models like GPT-5, Claude, and Gemini, focusing on technical aspects and cost implications.
📝 本期播客简介 本期我们克隆了硅谷硬核科技播客《Dwarkesh Patel》 How GPT-5, Claude, and Gemini are actually trained and served – Reiner Pope 嘉宾 Reiner Pope 是芯片初创公司 Maddox 的 CEO，更早之前曾在谷歌负责 TPU 架构设计。整期节目采用“黑板讲座”的形式，Reiner 从最基础的 roofline 模型出发，一步步推导出批次大小如何影响大模型推理的延迟与成本，揭示了“内存墙”为什么是上下文长度的真正枷锁。他还结合 Gemini、DeepSeek 等前沿模型的公开定价，反向推算出隐藏的技术架构，甚至连 KV 缓存存储在哪一层内存都能猜出来。对话后半段更跨界到密码学，探讨神经网络与密码协议在结构上的惊人相似。这是一堂 AI 基础设施的实战大师课，听完你会对“为什么 API 定价是这样”“为什么模型扩展变慢了”这些问题豁然开朗。 👨⚕️ 本期嘉宾 Reiner Pope，AI 芯片公司 Maddox 的创始人兼 CEO，曾在谷歌领导 TPU 架构设计，对分布式训练、推理系统和芯片设计有极其深厚的工程与研究积淀。他还是《Scaling》一书的作者。 ⏱️ 时间戳 开场与技术形式 00:00 Yikai 开场及节目介绍 01:26 Dwarkesh 介绍嘉宾与“黑板讲座”设置 Roofline 模型与批次大小的艺术 02:53 为什么要从“批次大小”开始？它对延迟和成本的决定性影响 04:33 批处理为什么能节省上千倍成本？ 07:04 一张延迟图看懂内存时间与计算时间的平衡 10:25 稀疏注意力与最优批次大小的代数推导 12:00 单用户推理为什么贵？成本曲线揭示的无穷大起点 15:20 最优批次大小≈300×稀疏度，一个跨硬件稳定的常数 17:08 推理引擎的“火车模型”：每 20 毫秒固定发车 19:35 从每秒 12.8 万 token 反推前沿模型的多大用户量 21:38 增加稀疏度划算吗？《路由语言模型统一法则》告诉你答案 模型架构与硬件拓扑 24:15 混合专家层如何分片到 GPU 机架上 27:47 机架内的 NVLink 高速网络与机架间慢八倍的“瓶颈” 32:33 为什么 GPT‑4 之后模型规模扩展变慢了？不是计算，是内存容量在等机架 35:40 流水线并行真的省了内存吗？通信模式的代数拆解 39:45 流水线气泡：训练中的微批次权衡与推理中的“不费脑”设计 内存墙、过度训练与规模法则 45:12 内存容量真的过剩吗？为何大家还在砸钱买 HBM？ 49:03 为什么流水线并行对 KV 缓存无效？内存容量的死结 52:00 过度训练 100 倍？从 Chinchilla 最优到真实世界的偏离 58:23…
People in this episode
Host: Yikai
Guest: Reiner Pope
Topics covered
- AI infrastructure
- model training
- cost analysis
- neural networks
- cryptography
- batch size impact
Keywords
- AI models
- batch size
- inference cost
- memory wall
- sparse attention
- KV cache
- pre-training
- API pricing
Mentioned in this episode
Organizations: Maddox, 谷歌
Products: GPT-5, Claude, Gemini
Books & works: Scaling
More episodes of 跨国串门儿计划
- #529. 青铜时代的演化风暴：古DNA揭示人类演化的隐秘拐点——哈佛教授David Reich深度访谈 · May 9, 2026 · 1h 36m
- #528.爱马仕的奢侈密码：六代家族坚守手工，从马具到铂金包的两百年传奇 · May 8, 2026 · 3h 41m
- #527.写作的炼金术：普利策奖得主理查德·鲍尔斯深度对谈，揭秘人物、语言与故事的永恒法则 · May 8, 2026 · 59 min
- #526. Airbnb创始人Brian Chesky：AI时代的创始人模式、想象力与公司重塑 · May 7, 2026 · 1h 16m
- #525. 对话FFmpeg与VLC：如何用代码支撑起视频世界 · May 7, 2026 · 3h 44m
- #524. 核能公开课：美国为何三十年零进展？中国如何反超？ · May 7, 2026 · 1h 59m
Explore listener stats, chart rankings, contacts and more on the 跨国串门儿计划 podcast page.