WhynotTV Podcast

如果说大语言模型的跃迁，来自互联网沉淀下来的海量人类语言数据；那么在机器人世界里，是否也存在一种同样关键的数据？不是文字，不是图片，而是人拿起杯子、打开抽屉、穿过房间、和另一个人互动时，身体在物理世界里留下的痕迹。这个问题，正是我们这期节目最重要的关键词：human data，人类数据。 本期嘉宾 Danfei Xu: Danfei 一直把自己定义成一个 roboticist，机器人学家，不是只在屏幕上训练模型的人，而是那个愿意坐在机器人旁边，看它动、看它坏、再把它修好的人。从早年折腾单片机小车，到斯坦福几乎从零搭建 robot learning 系统；从不被看好的 behavior cloning，到今天思考 human data 如何成为机器人学习的底层燃料，他的技术主线始终不是单点算法，而是一个完整全栈问题。在这期节目里，我们会聊徐丹飞如何走上机器人这条路，human data 会不会成为 robot learning 的 GPT moment的基石？人形机器人和人类数据究竟是谁成就谁？当机器人开始学习人的操作、人的身体、甚至人和人之间的互动，它的智能上限是什么？ 这里是 WhynotTV Podcast。现在，请和我一起，走进Danfei Xu的世界。---00:02:00 - 徐丹飞为什么一直把自己定义为 roboticist00:03:27 - 小时候的徐丹飞是什么样的小孩00:05:34 - 为什么高中时决定去美国读本科00:11:40 - 18岁前的经历如何塑造了对不确定性的适应力00:13:47 - 大一大二 cold call 机器人公司做 research00:24:00 - 为什么 PhD 选择了当时“机器人荒漠”的 Stanford00:30:18 - 2016-2017 年 robot learning 领域是什么样的00:36:12 - 在 DeepMind 暑研如何看到 behavior cloning actually works00:38:57 - 什么是机器人里的 behavior cloning00:40:16 - 为什么当时整个领域看不上 behavior cloning00:42:27 - RSS 2020 behavior cloning paper 的前世今生00:49:45 - Behavior cloning 最难的为什么不是模型而是系统00:57:17 - 为什么最后决定去找教职00:59:24 - 什么是 robot learning，它和传统 robotics 的区别是什么01:01:53 - 什么是机器人数据，什么是人类数据01:03:52 - EgoMimic 的起点：为什么相信第一人称 human data01:09:24 - 为什么从 teleoperation 转向 human data01:11:40 - 从 ego video 里机器人到底能学到什么01:15:20 - 为什么强调第一人称视频，而不是 YouTube 第三人称视频01:20:17 - 为什么 SLAM / VIO 对 human data 如此重要01:27:02 - 触觉 tactile 会在人类数据中扮演什么角色01:30:16 - Human data 各种模态的重要性排序01:32:27 - 什么是 UMI data，它到底是人类数据还是机器人数据01:36:35 - 五指灵巧手和人类数据 transfer 的关键瓶颈01:38:21 - Human data 和人形机器人是一荣俱荣吗01:42:51 - 如果数据、算力、硬件无限，human data 的智能上限是什么01:44:16 - 机器人如何获得类似互联网之于 LLM 的数据基础设施01:47:22 - 要 behavior clone human 需要多少小时数据01:49:08 - 为什么“不经意的人类数据”比任务采集数据更重要01:55:03 - EgoVerse 与 open collective efforts for academia01:59:39 - 为什么 full-stack robotics 如此重要02:01:25 - 一个 robotics 团队哪些东西必须 in-house02:04:33 - 今天的机器人离 Betty the Crow 的智能还差多远02:13:47 - 徐丹飞的 career goal 与 robotics 的 GPT-3 moment02:17:11 - 勇敢做自己想做的事：What's to lose?

当我问陈天奇，你会对十年前二十年前的陈天奇说些什么时，他沉默了近20秒说——“可能要反过来，我需要过去的我对现在的我，现在的我对未来的我说，记住自己对自己的承诺，坚持自己的理想，往下走下去”那一刻我被真正感动了——因为我真正看到一个真正的理想主义者，过去二十年机器学习的历史， XGBoost、MXNet、TVM、MLC都是不可磨灭的精彩印迹，而在这几个项目名背后，有一个共同的名字，他就是本期播客嘉宾陈天奇。过去 15 年，陈天奇把让机器学习模型更轻、更快、更易部署做成了一条清晰的技术主线。从最早的把树模型系统推到极致的XGBoost，到最早的深度学习框架之一 MXNet，再到开创深度学习编译领域的TVM，和今天希望把大模型跑上所有设备的MLC LLM。陈天奇在机器学习系统这条路上已经走了快 20 年——从陈天奇的视角看这 20 年的激荡会是什么样的风景？在这期播客，你会听到：我和陈天奇会把他的每一个开源项目都拆解清楚——他们为什么诞生、如何长成、在哪里拐弯。也会走进陈天奇的个人经历——年少如何与计算机相遇，高二的时候如何自学写编译器，在交大 ACM 班打下系统功底，在 UW 的科研突破，到最后同时走向创业和教职两条路。更重要的我们还聊到了陈天奇的底层价值观——长期主义如何落地，如何在不确定性中坚持敢失败的勇气和初心。在科研、创业、教职三条路都获得成功后，陈天奇在筹划着什么样的下一步？这里是WhynotTV Podcast——现在，请和我一起进入陈天奇的世界。00:02:06 在童年时期对什么事物最感兴趣00:08:38 有没有什么十八岁之前的经历对未来产生了深远影响00:10:16 温和的性格是童年时期就养成的吗？00:12:08 上海交大ACM班的经历00:14:33 本科ACM班教育对人生的影响00:18:05 本科第一次接触机器学习科研时的挑战00:20:09 手搓CUDA用深度学习尝试ImageNet00:23:10 在2010年用GPU做深度学习是共识了吗00:24:32 初生牛犊不怕虎做深度学习的经验教训00:29:40 如何从失败的科研后反而变得不怕失败00:32:16 研究视野的飞跃，20年后对研究视野的反思00:39:01 来到UW读PhD的选择00:41:08 XGBoost成功的关键原因：极致、社区、专注00:46:14 为什么选择树方法？Carlos的严格要求00:49:31 站在现在反思XGBoost当年对神经网络和深度学习的判断00:53:02 MXNet的前世今生01:00:03 MXNet背后的博士生团队协作01:04:14 从MXNet的历史学到的经验教训01:07:56 科研的风险与收益01:11:40 TVM的前世今生——什么是机器学习编译01:14:19 为什么做TVM这么有挑战性01:17:17 选择做重要的事——做TVM的勇气01:21:55 GPU/TPU/NPU的区别01:23:05 初生牛犊不怕虎的勇气与初心01:26:08 TVM的生态位，2025年面临的挑战与机会01:30:26 机器学习系统的历史01:35:03 机器学习系统的未来，挑战与机遇01:36:13 MLC LLM——将大模型部署到所有设备01:37:24 未来大模型的推理的格局分布——云vs端侧01:41:11 AI模型的收敛趋同会持续下去吗？对机器学习系统来说意味着什么？01:45:38 因为资源受限，学术界应该去解决什么样的机器学习系统的研究问题？01:50:42 对开源的热情——如何做成功的开源项目？01:54:50 OctoML——创业的动机与故事01:56:29 基于开源项目的创业的得失与优劣01:59:15 OctoML的商业模式与转型02:03:00 创业过程中的收获与教训02:03:58 考虑过当CEO吗？当技术领袖的所需要的自我革新02:06:18 创业被NVIDIA收购是符合预期的退出方式吗？02:08:19 技术创业必须的自我革新02:10:23 为什么决定要当教授？02:10:54 一线经验的重要性——为什么当教授了还要写那么多代码？02:15:03 如何做到高效的时间分配与产出？02:16:28 这个时代的快节奏的机器学习系统研究——我们还能慢下来吗？02:18:31 如何面对AI研究的新挑战？02:19:52 现在陈天奇作为教授的风格是什么样的——如何指导学生？02:21:06 工业界工作vs学术界PhD02:22:19 实事求是问题导向的研究风格02:23:22 对长期主义的感悟02:26:12 面临人生选择的智慧02:28:41 未来的陈天奇还想做什么——失败与初心02:32:58 AGI需要什么样的机器学习系统02:34:23 未来AI的格局会是巨头统治还是百花齐放02:35:03 会对20年前10年前的陈天奇说什么？02:35:52 对成功和幸福有什么新的感悟02:37:51 会看这二十年的旅途——你最后想说些什么？

以下内容是我和杨硕的对话。杨硕本科和硕士毕业于香港科技大学，在港科大以及毕业后的5年期间，杨硕参与并主导了了大疆飞控系统的研发。大疆之后，杨硕于2018年前往CMU攻读机器人博士，专注足式机器人的状态估计与控制算法，杨硕于2023年博士毕业后加入了特斯拉Optimus人形机器人团队，一年半，杨硕离职特斯拉，宣布创立妙动科技，目标设计研发消费级机器人产品。过去十年，他在知乎的账号分享了大量机器人技术见解与一线科研生活，至今仍鼓励着今天年轻一辈的机器人学生继续前进。杨硕是我们这个时代最杰出的机器人学家和机器人工程师之一，这里是WhynotTV Podcast，现在，请进入我和杨硕的对话