GTC 2026：AI的下一个战场不是模型，而是「推理系统」| S10E04

GTC 2026：AI的下一个战场不是模型，而是「推理系统」| S10E04

From What's Next｜科技早知道 by 声动活泼

March 25, 2026 · 59 min · Episode 20240417

About this episode

The episode discusses the evolving landscape of AI, focusing on inference systems and the significance of the GTC 2026 conference.

2026 年 3 月，英伟达年度开发者大会 GTC 在美国 San Jose 开幕。这一年的 GTC 气氛与往年明显不同——黄仁勋不再需要向市场证明 AI 的价值，因为 Agent 爆发和开源模型崛起已经让算力需求成为行业共识，Token 消耗量正在以百倍速度增长。 本期节目，Diane 在 GTC 现场为大家带来了第一手的观察，也专访了推理优化初创公司 Eigen AI 的联合创始人。Eigen AI 由三位 MIT 背景的创始人于 2024 年中创立，主攻开源大模型的推理加速与企业定制化部署。这次 GTC，他们的推理速度跑分直接登上了黄仁勋 Keynote 的大屏幕，是当前推理速度最快的团队之一。 节目里我们深入聊了为什么推理层正在成为 AI 行业最重要的竞争战场、GPU 和 LPU 各自在推理过程中扮演什么角色、英伟达斥资约 200 亿美元收购 Groq 背后的战略逻辑，以及当前 AI 应用的商业模式为何正在面临系统性挑战。 本期人物 丁教 Diane，「声动活泼」联合创始人、「科技早知道」主播 Di Jin，Co-founder at Eigen AI 主要话题 [00:11] 今年 GTC 最大的不同是什么？ 黄仁勋状态明显更放松，不再需要向市场"推销" AI 的价值 Agent 爆发让 Token 消耗量指数级增长，算力需求已成行业共识 开源模型崛起打开了推理层的商业空间，这一层开始变得关键 [09:13] Eigen 是一家什么样的公司，在做什么？ 三位 MIT 背景创始人，专攻模型压缩与推理加速 Post Training 帮企业定制模型，Inference 加速让模型跑得更快更便宜 GTC 开幕前两天完成技术突破，推理速度登上黄仁勋 Keynote 大屏幕 [13:24] 过去一年 AI 行业最大的结构性变化是什么？ 模型训练层高度集中，GPU 成本比人才成本贵 10 到 100 倍，中小公司已基本出局 Reasoning（推理时扩展）成为新的性能提升路径，让固定模型通过多花算力输出更好结果 Agent 工作流让 Token 消耗量远超对话场景，推理层的优化价值随之暴增 [23:34] 英伟达为什么要花约 200 亿美元收购 Groq？GPU 和 LPU 各自擅长什么？ AI 生成回答分两阶段：读懂问题（Prefill）适合 GPU 并行处理，逐字生成答案（Decoding）适合 LPU 串行提速 当前最快模型约每秒 1000 个 Token，Agent 场景未来可能需要每秒 10000 个，GPU 单独难以跨越这道坎 GPU 负责前段、LPU 接手后段，两者组合是目前长序列推理的最优解 [34:04] 推理优化的技术路径有哪些，分几个层次？ 底层是 CUDA 算子优化，针对不同模型的矩阵计算特点做精细调整…

People in this episode

Host: Diane

Guest: Co-founder at Eigen AI

Topics covered

  • AI competition
  • inference systems
  • NVIDIA GTC
  • Eigen AI
  • GPU vs LPU
  • AI business models

Keywords

  • AI
  • inference optimization
  • NVIDIA
  • Eigen AI
  • GPU
  • LPU
  • Agent
  • Token consumption
  • business models

Mentioned in this episode

Organizations: MIT, 英伟达, Groq

Places: San Jose

More episodes of What's Next｜科技早知道

Explore listener stats, chart rankings, contacts and more on the What's Next｜科技早知道 podcast page.