177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？
About this episode
The episode discusses the Kimi K3 model and its implications in the AI field and investment market.
「开源了权重，没开源产生权重的 “流水线”。」 本期我们邀请 RadixArk 创始成员赵晨阳和华盛顿大学博士生曾致远，从推理与算法两条线拆解 K3：它真的比肩 fable 吗？3T 开放权重、混合注意力和智能体训练环境意味着什么？以及开源模型真正开放了什么、又保留了什么？ 晨阳是老朋友，他曾在 163 期节目中为我们从 Infra 角度解读了 DeepSeek-V4。在 UCLA 读博期间，晨阳成为 SGLang 核心开发者，SGLang 第一时间适配了 V4 、K3、GLM 5.2 等中国开源模型。 曾致远目前在华盛顿大学读博士二年级，研究大语言模型，师从 Hannaneh Hajishirzi 教授和 Pang Wei Koh 助理教授。 进入具体的技术报告解读前，我们也聊了 K3 如今在美国 AI 界和更广泛的投资市场所引起的巨大关注，以及与 K3 直接相关的开源大辩论。 本期节目已发布图文版， 详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？丨晚点播客 下面，正式进入节目吧。 本期嘉宾： 赵晨阳，RadixArk 与 SGLang 创始成员 曾致远，华盛顿大学计算机科学博士生 本期主播： 曼祺，《晚点 LatePost》科技报道负责人 时间线跳转： -K3 为什么成为里程碑 05:13 使用体感：长程任务、惊艳的前端能力与被吐槽的不足 11:15 K3 引发的开源、安全与估值大辩论 16:50 Transformer 的「忒修斯之船」 25:34 贵不贵、慢不慢，看单价之外的任务总成本 29:25 K3 为什么现在慢？新架构、Serving Stack 与前缀复用 34:42 权重一旦开放就收不回；真正的护城河在环境、验证和算力 -KDA（K3 采用的注意力） 和 KDA（kenerl 开发 agent），说不好哪个更伟大？ 39:36 架构总览：让信息沿序列与深度更高效流动 42:42 Quantile Balancing：近千个专家如何保持负载均衡 48:38 KDA＋MLA：线性注意力与全局注意力并非二选一 54:12 线性注意力下，百万上下文如何缓解遗忘 57:27 线性注意力给推理系统带来的工程变化 01:00:54 6.3 倍解码加速来自哪里 01:03:34 Attention Residuals：让深层模型选择性读取浅层信息 -优化器、后训练与自动研究 01:10:23 Per-head Muon 与大规模训练稳定性 01:14:46 AI 能否自己发明优化器 01:20:34 MOPD：九个领域专家为什么先分后合 01:27:11 蒸馏的纯技术定义、on-policy 蒸馏与 off-policy 蒸馏的区别 -Infra 优化 01:31:08 KDA 结构下，投机采样回退机制的变化 01:39:47…
More episodes of 晚点聊 LateTalk
- 180: 具身智能的金钱游戏：进展难测、收入催熟与 IPO 竞速
- 179: 蒸馏风暴：一场无人公开谈论的技术竞赛
- 178: 与田渊栋聊 RSI：模型自进化如何到来？
- 176: 姚顺雨，来到腾讯300天
- 175: 对话Liblib陈冕：关于活下来，以及所有接近死亡的时刻
- 174: AI冲击企业软件巨头？与SAP原欣聊大模型to B的颠覆与边界
Explore listener stats, chart rankings, contacts and more on the 晚点聊 LateTalk podcast page.