E244｜机器人走错路了？与苏度韩铮聊聊具身智能的3D数据、路径分野与硅谷竞赛

哈喽 大家好 欢迎收听《硅谷101》 我是泓君 之前我反复在播客里 跟机器人的公司讨论一个问题 就是说我们能不能通过一个demo 就判断一家机器人公司 技术上的好坏 很多人告诉我的答案是不能 原因在于 大家并不知道在这个demo之前 这些机器人公司

有没有针对特定的环境去做适配 哪怕我们说只是在展出的前几天 它到现场去采集一下环境数据 可能都会对demo有很大的帮助 所以如果对环境做了更多的优化 机器人demo的效果就会更好 而今天我们要聊的这家公司 叫做苏度科技 它就敢在一个

完全没有训练的新环境中去做demo 它的效果到底怎么样 说到苏度 在机器人的这条路上 其实有一个绕不开的名字 就是它的联合创始人苏昊 教机器人看懂世界的ImageNet有他 主流的机器人仿真器 大多都和他的团队有渊源 连硅谷最火的那几家机器人公司

比如说像Physical Intelligence 谷歌的DeepMind的 机器人团队 也都有他的学生和师弟师妹 可以说他们是这条路上开山一派 而他自己现在最想啃的 也是机器人最难的那块骨头 就是让机器人动手 让机器人在开放世界动手有多难 他的合伙人韩铮是这么说的

机器人如果是要对于物体去做操作 它这个难度要高两到三个数量级 另外 我今年在跟很多 机器人领域的人聊天的时候 大家一直认为 在现在的机器人的训练方法 和实现路径上是没有收敛的 韩铮他并没有站在 硅谷主流的那一派路径上 他认为在今年的下半年

所有人都会重新回到 他们现在正在走的这条路上 我们有一个暴论 就是可能从今年的下半年开始 上下分层的这种结构 会重新再回到主流里边来 而且可能在之后 大家选择的方案 推到商业化里边去 可能是最终的一个方法 这期节目我们就来聊透三件事 机器人的3D数据从哪里来

Sim2Real（仿真到现实）这条路 到底能不能走通 以及这场全球机器人竞赛 各大头部玩家 他们的技术路径是什么 谁能真正地跑出来 今天跟我在一起的嘉宾 是苏度科技的联合创始人与CEO 韩铮 哈喽 韩总你好 泓君你好 很高兴来到《硅谷101》的节目 我看你们现在做机器人 其实也是很火

我看见新闻的消息是说 投资人基本上很难抢到 你们的投资份额 因为现在其实做机器人的公司 也非常的多 我初步把它分成两层 一层是造大脑的机器人 以硅谷的PI为代表的 其实这类的公司 在硅谷我觉得还蛮多的 包括最近拿融资的 估值140亿美元的Skild 还有一块 就是说造身体

做人形跟做机械臂的机器人公司 这类机器人公司 像马斯克的Optimus 宇树 包括Figure它算在哪一边 我们待会可以再详细地聊一聊 但是我觉得 大家在初步看到一个机器人公司 跟看到它demo的时候 其实很难分清楚这个机器人公司 到底是做什么的 对 所以开始的时候 您要不要简单给您的公司 做一个定位

看看我们苏度 在做机器人的哪个环节 好的 我们其实是大脑和本体都做 其实也是现在很多的机器人公司 都在强调的一点 就是要全栈 要做整个的系统 但整个团队的背景 其实是在将近10年以前 就开始往机器人 以机器学习的方法 来驱动机器人方向 来做探索和尝试的时候 主要都是以软件为主

直到2022年 团队开始以商业化的方式 来做准备的时候 我们才开始正式地考虑 自己来做硬件的本体 当然也是因为 很多年积累下来的经验 如果自己不碰本体的话 也很难把大脑的能力展现 甚至说能够去做一些迭代和探索 所以简单来讲的话 我们是做全栈 如果我们要类比一家硅谷的

大家现在已经比较熟悉名字的 这些机器人公司 你觉得你们做的这些环节 跟哪一家机器人公司是更接近的 还是说市场上没有对标者 我觉得硅谷的机器人公司 不管是像Optimus 还是上一代的波士顿动力 还是Figure 1X的话 其实都是本体加模型 不过这几家公司在模型侧的能力

相对来说 比Physical Intelligence 包括Skild的话 要稍微没有那么专注 所以你们现在 核心最专注的方向是什么 是模型的大脑层 还是说操作的层面 比如说我们刚刚提到的Optimus 它是一个大家（熟知的） 最经典的人形机器人 它除了要做手部的这种操作 它也要去做运动 我看见你们的那个demo

那个机器人 它其实是带一个滚轮的机器人 你核心的控制是集中在手部环节的 我并不是说 一定说做人形就比做手不好 因为我们之前的播客其实有讨论过 灵巧手是机器人 可能是最后一公里跟最难的一部分 我想简单地 还是来做一个定位上的区隔 对 我觉得做机器人的仿生手模型 做基础模型

特别是做操作模型的大部分团队 其实都会类似于像我们 以及Physical Intelligence 这样的公司 专注在像gripper 二指夹爪 它对于物体的操作和能力 先把它拉到一定能力的边界 再有一些 比如说像二指的夹爪 不太好处理的情况之下 再看能不能用多只手 或者是灵巧手来做处理

但人形机器人公司 为了让大家感觉到像人 我觉得这一波的风潮 其实是在大概2022年左右 Optimus出来的时候 大家对于Elon Musk 给大家描绘的类人型机器人 重新回到大家公众的视野 其实是起到了非常强的引导作用 但在我们看的话 机器人里边 要做的物体操作的任务 可能90%不一定需要灵巧手

剩下的可能5%到10%任务的话 才真正需要多只手 另外 是不是双足和轮式 现在机器人的下肢 还不是特别稳定 一会我们可能也会提到 像宇树机器人和波士顿动力 Figure Optimus 现在对于环境的认知和感知 其实还不是特别强 以及它经常会出现跌倒的情况

所以我们在现在这个阶段 可能还是会把操作的任务 和下肢灵巧的程度 相对来说会解耦一下 但未来我们感觉 可能还是会回归到同一条线上来 未来的同一条线 你指的是通用机器人 对 通用机器人的构型 它应该是一个带有足式 或者是我们自己内部认为的话 可能是轮足式的一个构型

它在平地时候可能会有 稳定和高效的一个方式移动 但是在比如说 遇到一些特殊地形的时候 还是会像人或者是其他动物一样 有双足或者是四足之间的 某一种形态在移动 对 因为我觉得 我们要看每一家公司做机器人 它的思路有什么不一样 可能要从它的整个历史说起 我知道你的联合创始人苏昊

他是李飞飞的学生 李飞飞当年成名之战是ImageNet 她给上百万的图片做人工标注 然后让机器第一次看 这个足够多的世界 苏昊他其实就是 ImageNet的核心作者之一 后来他把这个思路搬到了3D 我觉得这个跟今天的苏度 整个的历史也是一脉相承的 所以你可不可以 简单跟大家介绍一下

ImageNet它当年给机器看海量的 带标签的图片 这个当时在整个机器人业界 它是一个什么样的意义 为什么它会成为 整个AI爆发的一个导火索 苏昊求学生涯里边 其实一共有两个PhD（博士学位） 其中大概有将近4年时间的话 他是在李飞飞老师 当时在普林斯顿 后来在斯坦福的实验室里边 核心的项目就像您讲的

实际上是做ImageNet大的项目 他曾经跟我讲过 飞飞对于整个ImageNet的推动 和架构的话 实际上是非常有远见的 但核心总结来讲 就是一个能够复现 世界上典型物体的2D图片 和它的文字对 用一个结构化的方法去描述 这样的一个基础思想 比如说我们在桌子上的杯子 我们需要一系列的典型图片

去描述世界上几乎所有的杯子 但是同样款式的杯子 我们一张或者两张图片可能就够了 这个思想在2012年 2013年 他的第二个PhD导师 就是Leo Guibas 在斯坦福的实验室里边 开始的时候 他也把这套思想带到了3D里边来 所以他那个时候 开始组建3D的大数据集ShapeNet 当然后续还有一些 非常关键的工作成果

比如说像激光雷达 以点云为表示的表征方法 这个PointNet 都是他的核心工作 但回到3D大数据集 ShapeNet的话 其实它最大最大的挑战就在于 相比于ImageNet 你可以把互联网上面 几乎所有的图片 和它下面的文字描述和标题 梳理清楚 并且找到当时用亚马逊 最早最早的话

我记得应该是在普林斯顿的时候 他们用Mechanical Turk 以众包的方法去做标注 但那3D的模型 其实是非常非常欠缺的 这其实是一个最大的挑战 我理解李飞飞当年 她的ImageNet为什么这么火 是因为本质上 她当时也是在用一个 堆大规模的数据 然后让机器识别

其实有一点点像 今天的Scaling Law（规模法则） 只是在那个时间 大家还没有意识到 我可以用一个规模化的数据库 去解决机器识别的问题 她自己做了一个大规模的数据库 我觉得在当年那个年代 还是非常有创意 有想法 有远见的思想 把这个思路搬到3D领域 就是我能想象 比如说你2D 你刚刚提到

我们要在一个图片里面 去识别这个杯子 它就是一个杯子 我只需要一个标签 3D的话 就比如说我们今天 在录音的这个办公室 杯子放在一个桌子上 然后桌子上还有手机 录音笔 首先是它的标注维度会大很多 但是你的文字标注 它怎么去解决这种空间的物理关系

甚至是力的反馈 我觉得这个事情听起来要难很多 对 这里边的工作其实要复杂很多 所以愿意去做3D大数据集的人 相比于2D以及语言的大数据集的话 要少很多很多 3D其实在大数据集里边的话 我们有一系列的工作 第一个核心工作 其实是苏昊在斯坦福

第二个PhD期间的核心工作之一 就是ShapeNet ShapeNet的话 应该是有几十万个3D模型 但实际上还远远没有达到 像ImageNet能够覆盖世界上 所有物体所有的模型 ImageNet当时做到那么大规模 他们收集了多少数据 最后应该是有1400万张图片 和文字的映射 ShapeNet 几个人的规模

现在做到了几十万的3D数据 对 但是当时的一个约束 就是你要找到开源的 可以用的3D模型 但这些3D模型的话 理论上它应该跟ImageNet类似 它还是需要一个 上千万级的物体集合 能够把它整个3D的几何 包括刚才您提到还有很多

比如像材质 摩擦 弹性形变的参数 包括我们现在做的椅子 它轮子和椅子本身 其实还是有很多动力学的约束 所以这个3D数据集ShapeNet 它只有基础的几何 和基础的表面贴图 我们大概能够预估到 它的这些物体的材质 因为比如说杯子大概的话 就是玻璃 塑料 金属

它是会有一个范围 但再往下一步的话 同样一个物体的话 它可能会分不一样的部件和组件 比如说我们拿到一个饮料瓶子 会分成瓶身 瓶盖 围绕着这个标记和标签 有的时候 你甚至需要标注瓶身上面 哪个是它的瓶底 这些其实是对于部件的标注 但标到PartNet的时候 就只有几万的物体了

我们从之前的ShapeNet 再去做一定的筛选 去做标注 因为这里边要涉及到大量的人工 这时候就会对数据的标注成本 有非常高的一些要求 但再进一步 比如说对于这个瓶子 它的瓶盖究竟是往左拧还是往右拧 它拧动之后 能不能够把它给拧下来 这个就叫动力学约束的一些标注 这个数据集

叫PartNet-Mobility 现在为止 如果我没有记错的话 还是开源里边最大的 带部件 带动力学约束的开源数据集 但这里边只有不到3000个物体 带有标注的 这其实对于几个方面 包括像机器人合成数据的训练生成 像现在我们讲的视频生成里边 带有连续的空间和物理一致性的话 其实都有很大的约束

ShapeNet是从什么时候开始做的 应该是在2013年 2014年的时候 对 我们说之前让机器 去做3D数据的收集 可能标注是一个 很费时间成本的事情 现在因为我们在考虑 大模型跟机器人的训练方法 比如说我让它现在用ShapeNet的 这一套开源数据集去训练

跟直接对着视频网站 成千上万的开放世界的视频去训练 因为它能拿到的数据是更多的 那个视频里面 也是有一致性的这些动作的 它的核心区别点是什么呢 我觉得这个核心区别在我们看来 就是2D的图片和视频里边 三维的信息有 但是不太全 也不太准 这其实也是在Sora 当时在训练的时候

管线里边其中之一 就是用Unreal引擎和Unity引擎 从3D的模型里边 渲染大量2D的视频和图片 然后再反向来去做训练数据集 但由于互联网上的数据当中太杂 它3D的信息 其实并不是特别地精准 如果你拿它用来做 比如说像自动驾驶导航 它可能对精度的要求没有太高

比如说你只要求有一个 大概10公分左右的精度是够用的 但是对机器人的操作 10厘米的误差是绝对不能忍受的 像我们面前的这个录音机 我们要把线缆 插到对应的孔位里边去 它的要求必须是在亚毫米级以内 所以这个只有3D建模的 3D的数据集可以做到 尤其是在机器人的操控方向

对 机器人不管是用哪一种方法 但是对于我们做仿真 Sim2Real的这条路 我们是要求机器人 对于物理环境里边的物体和环境 对于几何有比较精准的理解 那么它对于几何精度的理解 就得到毫米级 甚至亚毫米级才可以 所以现在ShapeNet 它是一个开源的数据集

还是说它有分层 有一些开源 有一些闭源 ShapeNet PartNet Mobility 都是开源的数据集 但我们自己内部用的 肯定不是这些开源的数据集 您觉得苏昊在做整个ShapeNet以后 现在开始跟你们一起做苏度机器人 在这个中间沉淀下来的 最核心的资产是什么 这个我觉得是一个特别好的问题

走Sim2Real这条路 它有点像波音造飞机 很难讲其中是发动机更重要 还是说航电系统更重要 还是说材料更重要 它是一个比较复杂的系统工程 所以怎么能够 把搭这个复杂系统工程的团队 给建起来 我觉得这是我们团队最核心的积累 我们团队里边的小伙伴们

在苏昊的实验室 以及我们成立公司之后 核心的这几个大组的负责人 其实都在一起工作过七八年的时间 了解 人 还有过去做这些事情的 经验跟方法论 这个是无可比拟的优势 对 我觉得是的 包括数据 比如说我们在做仿真器 其实大家能够想象到的 市面上核心机器人的仿真器

不管是像Isaac MuJoCo 甚至说新创的一些公司 都跟我们有千丝万缕的联系 对 我先跟听众解释一下Sim2Real 这会是我们后面 会反复提到的一个名词 它的意思直译就是说 从仿真到现实 它是让机器人

先在电脑模拟的虚拟世界中训练 练成之后 把学到的这件事情搬到真机上 让它在物理世界里面也能用 大家注意 重点其实不是说仿真这两个字 而是搬的这个动作 能不能直接把它搬到现实世界 还灵不灵 它是这条技术路径上 最大的一个难题

英伟达的Isaac仿真平台 就是这个路径最大的推手之一 与它相对的另一条路径 就是跳过仿真 直接用真实世界采集的数据来训练 比如说让人去手把手地教 然后机器照着学 所以我听下来 你们算是这个领域 开山之派的这种感觉

我觉得一定程度上讲肯定是这样的 比如说像具身智能 Embodied AI英文的提法 应该是2019年 苏昊跟很多北美的教授 联合提出的一个有测评标准的 新的研究领域 像具身智能的这个翻译 也是他当时一起合作过的 某一位教授回到国内去之后 找他一起讨论和商量

定的这样一个描述 但用机器学习的方法 去做机器人控制的 我觉得他是跟Sergey 他们应该是同一拨 对 在那个时候做探索的 非常早 所以你们公司成立是在什么时间 苏度公司正式成立 其实是在去年上半年 但我们以一个商业化 和半商业化开始组织

是在2022年下半年开始的 我记得苏昊其实是非常早 就出来拿他ShapeNet 整个的一套思想 他有在做跟机器人 跟3D数据集一系列的探索 那个是在什么时间 应该是2012年 2013年 他做这个决定 是因为在ImageNet出来之后 他自己有一个想法

是要做一个类似于神经网络的架构 但当时跟他配合的人没有那么多 在ImageNet的挑战赛 AlexNet横空出世之后 对他的冲击我觉得是非常大的 他觉得自己可能是错过了 非常重要的一个机会 所以他自己就在思考 下一站大的领域是什么

所以他想把大数据集 加神经网络的方法 带到物理世界里边来 所以在他拿到第一个PhD之后 在Leo Guibas教授组 开始搭建新的3D学习的团队 对 好早 这个中间我觉得不管是机器人 还是我们说现在的AI 它的技术已经经过了 特别多轮的迭代了

比如说生成式AI就是一家 刚刚在录音前 我们还有一段时间 讨论过机器人界的历史 为什么在前几年 包括在2012年 2013年那段时间 甚至更早的一段时间 大家投资机器人都是不赚钱 甚至是一个失败的投资项目 而且那个时候 其实硅谷有非常多好的机器人项目 像什么Covariant 我觉得这是非常好的一个问题

我们其实也在创业初期 受到了上一波 大家对于这个问题的影响 从2012年 2013年开始 到2015年 2016年 当时应该是 我们叫安卓之父 Andy Rubin加入谷歌之后 他负责了谷歌的X这个项目 当时应该收购了 非常多家的机器人公司 最知名的可能就是波士顿动力 后来又转手过很多次

包括给Softbank 软银 现在主要的控股股东可能是现代 但也有像您刚才提到的 像Vicarious Intrinsic 现在还在谷歌里边 Everyday Robots 它的硬件部门已经被关闭掉了 但当时那波 可能大家还是想用机器学习的方法 往前去推进 但当时的要素

我觉得可能还不是特别全 在2022年 我和苏昊开始讨论 他有这个想法去做机器人的 底层操作模型公司的时候 我们当时讨论最多的一点 是什么原因能够促使大家觉得 现在的机遇 跟大概七八年以前明显的不同 当时我们决策的核心原因之一 就是DALL・E的出现 文生图

对 文生图 OpenAI早期的模型 它的核心就在于 它让我们意识到 3D的ShapeNet PartNet 它只有几十万的模型 但是图片实际上是有 比如像ImageNet COCO这些 它实际上是有上千万的 它可以描述整个世界上的 几乎所有的物体 那么有没有一种方法

能够把2D升维到3D来 实际上是有机会的 从一个朴素的想法来讲 就是在仿真器里边 如果是要做一个仿真器模型 要重建整个世界的物体和环境的话 理论上是开始可行了 我们刚一直在提 你们在走Sim2Real的路线 你的Sim2Real的底层应该是一个

我理解现在可以说是世界模型 或者是3D的大模型 我觉得一定程度上是对的 其实仿真 在我们推动Sapien和ManiSkill开始 应该是在2018年 2019年开始的时候 相比于之前的可微的有限元仿真 比如说像飞行器和汽车制造里边 我们要做流体力学仿真 以前机器人的时候

你要做机械 包括力学的仿真 但当时的环境是 我们只需要在一个大型的机器上面 能够开一个环境 让它跟真实的机器 或者是飞行器也好 车也好 机器人也好的话 尽可能地接近 但新的机器人仿真器的 它的设计思路就不太一样 它并不需要我们在一个大型的机器

或者是一个大型集群里边 无限去逼近一个真实的环境 反而是用不一样的思路 我们需要在 比如说一张GPU上面 怎么能够开出成百上千 甚至上万 上百万个并行的环境 但我们的要求是 不需要让它看起来非常地真实 比如说它的分辨率

真的你要去看这个仿真器里边 在做训练的时候 它的分辨率其实非常非常低 但是它要求物理的一致性当中 尽可能接近 但并不需要无限地接近 它一定是要在真实和效率之间 做大量的取舍设计 所以你们选择了在这个仿真器里面 更多地遵循 整个世界底层的物理法则

牺牲观赏性跟分辨率 对 我们把经典牛顿力学 包括这个物理仿真里边的很多 人类总结这么多的公式 都代入到仿真器里边来 但同时我们又给它大量的 开放世界3D的物体环境任务的数据 让机器人在里边做强化学习 对 所以你们现在 Sim2Real的这条路线

包括仿真器的设计 我理解它所有的环境搭建 都是为机器人服务的 机器人对一件事情的理解 你们可能是不局限于 我要去拧一个矿泉水的瓶盖 而是说我想让机器人做所有的 它能看见的 现实世界中的环境它都能操作 我的理解是对的吗 对 简单来讲 就是说我们想把人类

和整个生物对于环境的理解 交互 物体的操作 几百万年进化的过程 放在仿真器里边来 让机器人再经历完整进化的过程 数据从哪里来 有几个方面 第一就是我们刚才提到的物体 比如说我们怎么能够建一个 跟ImageNet一样的ShapeNet

怎么能够把世界上典型的物体 都能够用3D的表征 在仿真器里边去做呈现 我理解之前ShapeNet的那一部分 已经开源了 你们现在在做一个 自己的ShapeNet 对 或者讲就是给机器人用的一个 更加完整的 高效的 3D物体的数据集 对 然后你们这一部分是现采的 现在大概有多少数据可以公开

这个我们暂时没有办法 正式对外透露 但相比于ShapeNet以及开源的 我们叫结构化数据集 和非结构化数据集 比如像ImageNet ShapeNet 都是结构化数据集 我们指的是说它是分类别 每个类别里边的子类 都有对应的标签 还有一些是非结构化数据集 比如3D里边 其实也有非常大的数据集 有一个叫Paul Allen

做的Allen Institute 他自己在主推的ObjectVerse 实际上是有上千万的数据集 他其中之一的方法 就是把GitHub上面 所有带有3D文件的项目里边 所有的文件都挖出来 但那是一个非结构化的数据集 里边可能大量的都是 比如像游戏里边出现的 人物的盔甲 武器 但您可以认为 这些3D文件大量重复的

对于机器人做物体操作的话 其实用处不一定很大 所以我们自己要建物体的 带结构化的数据集是非常关键的 但它的挑战就在于说 有很多物体是没有3D文件的 当然2D到3D的生成 实际是非常有效的一个手段 但现在迭代这么多年 在过去取得突飞猛进的进展 但现在还有一些

是需要人工做建模 标注和参与的 你怎么评价 你们公司这一部分数据的质量 就比如说普通 好 非常好 这可能是几个不同的等级 你觉得现在在机器人的训练中 是用极高质量的数据更关键 还是说我需要用更大规模的数据 但是这个数据的质量 可能没有那么高

就是你怎么看这两者之间的权衡 对 我觉得这是一个特别好的问题 我们也没有标准答案 永远是在质量和规模之间 要取得平衡 但规模是要达到一定程度的 我就有一个朴素的判断 就是你要把世界上典型的物体 它们之间组合的环境 和要去做的操作任务

都有一个结构化的描述 你不能只去列举其中的一种形态 说我在找类似的100个 和1000个 10000个 就能够累计到一个结构化的程度 这几乎在机器学习的历史上 不管是说2D的视觉 还是像自然语言 还是说自动驾驶里边 其实都没有出现过

所以3D里其实也是类似的 在仿真器里边 我们要搭建的结构化数据集 是非常关键的 但我们也清晰地知道 不太需要无限制地准 比如说单个饮料瓶子 它材质的具体描述 包括它的表面标签上面 文字的信息 它的图片 需不需要100%地还原 其实是不需要的

但究竟怎么取得这样的一个平衡 实际上每家可能都有不一样的理解 好 所以你们的数据集 算是一个什么样的质量 我们对于结构化理解的话 应该是在所有的团队里面 可能做得最好的 但另外一点 我们也知道 结构化的下面 我们还应该去补哪些数据 所以它有没有搭完呢 肯定还没有

比如说我们瓶子要怎么去拧 这些对于动力学约束 其实还是整个行业里边 最欠缺的数据 然后我们刚刚讲了Sim2Real 你们的这个仿真器 跟大脑的这一部分 我们说Sim2Real后面的2Real 就是怎么把电脑模拟的世界 放到现实的世界中 因为传统大家来说 机器人界有几派争议

一个就是Sim2Real的这一派 还有一个 就是用Real World Data的这一派 质疑Sim2Real的这一派就会认为 我把仿真里面的东西 放到现实世界中 它的效果可能没有那么好 你们其实也有机器人的本体 然后也已经开始操作了 可不可以讲一下你们的执行效果 以及你看到的gap 我觉得Sim2Real 相比于主要以真机数据

或者是真实世界数据采集 包括像teleops 遥操作机器人 包括UMI以动作捕捉设备 人去做物体的采集 不管是比如像UMI的这种夹爪 还是说我穿全身动捕服 第三种 比如说现在大家经常在讲的 所谓的第一人称的数据 我以第一人称视角 去拍摄一些视频 但这些方法相比于Sim2Real而言 操作起来都会简单一些

但它很难保证 某一类操作任务开放世界的泛化性 这个指的是什么呢 就是基础模型一般的描述是 你给它一个任意物体 不管是说在预训练还是后训练 都没有出现过的 它能够以一个非常高的成功率 就能够去完成这个任务 假如说是以这个维度而言的话 我们觉得Sim2Real是跳不过去的 因为真机操作

动捕的方法 Ego的方法 Ego是什么意思 就是以第一人称视角去拍摄 人 用我们自己的手 比如说去拿水杯 包括去拧瓶盖 但我们其实之前也稍微地提到一点 就是这类的视频和图片 它的几何理解和精度当中 可能是不太够的 所以我们在仿真里边 核心就是要重建这些物体和环境的

3D Ground Truth的信息 但是如果规模不够 这个其实是很难体现出 Sim2Real的优势和能力的 多大算一个规模 这是一个很好的问题 我们4月份其实放过一个结果 就是我们叫苏度R1 苏度R1实际上是 我们去年11月份和12月份 内部的一个结果 在我们看来 这可能是整个的机器人里边

尝试用Sim2Real路线里边 能够做到Zero-Shot 开放世界某一类任务 能够把Sim2Real差距当中 给填平的第一次 好 我们接下来 一起来看一下4月份的demo 这个视频 就是我们展示了连续一个小时 我们可能试了100多个物体 操作了200多次 但这些物体 其实都是在我们的训练数据里 没有出现过的

比如说物体失败之后 我们也没有补后训练的数据 所以它是一个对于物体通用的抓取 第一次可以做到 零样本高成功率的结果 我们会变换很多的光照 环境和物体 到一个小时结束的时候 我们一共做了200多次 物体抓放的操作 240次抓放操作 对 单次对于这个物体

做抓放的成功率是将近98% 但是如果它第一次失败之后 这个机器人 还会用一个闭环控制的方法 迅速地再去调整它的策略 就可以做到100% 在这个结果发布之后 整个的研究社区里边 有一派的声音就说 我们肯定也是精心控制变量 包括这些物体和环境 是不是我们在训练里边没有见过 大家对这个事情是有质疑的

所以你们有控制变量 跟在训练集里见过吗 没有 其实完全没有 完全没有 对 我跟大家先简单解释一下 因为大家可能看不到这个视频 你们第一次demo的画面 是一个机器人站在一个操作台前 在去抓不同的物体 这个物体 包括像饮料的瓶子 还有小零食 每一种的物体

在我看来它的形态 包括这个瓶子 它可能是一个椭圆形的 也有可能是一个锥形的 这可能对机器人的手 就要求它去抓不同的部位 它才能把它抓成 对 还是很不一样的 这个视频的时长是60分钟 你们是连续拍摄 对吗 对 是连续拍摄 连续拍摄 没有间断 上面显示一共是240次抓取

所以大家有质疑是说 你们可能是看过这些数据 但其实是没有 是的 对 所以我们当时就决定说 要在公众的面前给大家做一次展示 所以在6月初的时候 我们首先在维也纳举行的 ICRA的大会上 我们就首先把这台机器人 第一次带到了研究者的面前 大概我们统计了一下 在几天的会议里边

可能有将近1000人左右 来到我们的展台前面 用他们自己各种各样随机的物体 去做测试 比如说参会的证件 比如像手机 耳机 小玩偶来做测试 昨天我们其实也刚刚 从CVPR的会场回来 我们也是搭建了一个展台 让整个学术界和工业界 当时以为我们这个视频 可能是处理过的

大家还是在一个 非常随机的环境之下去做测试 这在以前类似于这种的学术会议上 是从来没有人能够做到这样的展示 原因之一就在于 它几乎没有给你时间去做准备 比如说之前像** 它会在学术会议开始之前 在旁边租一个Airbnb 把自己的机器人放在那边

去收集大量的数据 可能要提前一个月进场 做好处理之后重复去展示 比如说做咖啡的任务 已经是非常 所以它是有针对单个场景 去做适配跟练习的 它是肯定要的 对 你们没有 我们是不需要的 只不过这两者的区别之一就在于 我们实际上更关注 对于物体的基础操作

比如说这种短的 基础操作的高频动作 是Zero-Shot 就是一次性抓取成功的单个动作 我理解**它做的是连续动作 因为做咖啡是一个连续动作 对 它就相当于说 要把这个连续动作 让人去遥控这个机器人 至少要出现过很多次 如果是它换一个咖啡机 或者是同样的咖啡机 换一个环境的话

它的成功率肯定会要往下掉不少 这时候怎么做呢 包括绝大多数的机器人模型公司 都还要去再补充一定的数据 去做拟合 对 做单个一次性抓取的任务 跟做一个像** 甚至我们说很多灵巧手公司 它要做一个 长达21步的这种长程任务 就是复杂动作的拆解 每一步都需要连续

你觉得这两者之间哪个更难 我觉得如果是真正做机器人的 做操作的社区的话 肯定认为Zero-Shot稳定的 对于开放世界的基础物体的操作 短操作的成功率 其实更加核心和关键 长程任务的复现 也是非常核心和关键的部分

但其实如果是你的短技能当中 足够的稳定可靠 它的泛化性足够高 你其实是可以把短技能 拼成各种各样的长程操作的 这其实也就是ManiSkill 整个核心框架大的思想 所以我理解 其实最难的部分是开放世界 而不在于它是短还是长 你只要在开放世界中短的能成功 那么连续成长的

它是一个迟早的问题 对 简单讲是这样 但里边其实还有很多的核心工作 比如说你要做短技能串联成长技能 其实也是一个 类似于像思维链的方法 其实在思维链提出来 大概在2023年的时候 我们其实也有同期的一个工作 叫Chain of Thought Predictive Control 就是CoTPC 它其实就是专门处理短任务 如何串联成长程任务的

类似于思维链的一个框架 我看见你视频里面的展示 这个机器人 它是一个两个指头的抓夹 因为我们知道在灵巧手里面 大家也分得很细 就是你是两个指头的抓夹 还是说你的手部有几十个关节 你可以做一些复杂的动作 比如说在手内转小球 或者是穿针引线 这种需要你非常精巧的操作

这两个在训练方式上会有不一样吗 还是说这个是你们下一步的目标 其实灵巧手的话 我们在2022年 2023年 甚至在之前 我们都有很多研究的一些成果 但一般在做机器人操作模型的时候 大家一般会把这个问题 稍微解耦一下 绝大多数的任务 其实并不需要灵巧手的操作 但灵巧手直到现在

行业已经取得了 非常多进步的前提之下 它的稳定性和可靠性 其实还不是特别好 包括它的成本 其实都没法控制得特别优秀 当然相比于早期 像Shadow Hand 可能几十万美金一只 已经好了非常多 但到现在为止 因为我们自己用仿真 可以知道对于物体的操作 比如说像手内转魔方 比如说盘核桃

这些的确是需要多只手（指） 甚至有的时候它不一定是五只手（指） 穿针引线 有的时候也不一定需要灵巧手 它主要还是看成本 穿针引线可以直接用机器工艺 是不是 对 所以我觉得 您这个提得特别的关键一点就是 肯定灵巧手是最为通用的 但是对于稳定性 可靠性 以及一开始大家在做探索的时候

降低变量的话 灵巧手是一个选项 但不是一个性价比最高的方法 对 因为今天我们录播客的时候 其实我是第一次看你这个demo 我知道你有更远大的梦想 就是你想实现 更加开放世界的通用机器人的操作 但是我直接看到这个demo的感受是 这跟几年前像Vicarious

包括像Covariant想做的东西 非常地相似 但是其实我也跟它们内部的人聊过 它们当时没有办法做到这么稳定 我看它们当时的那个 demo场景是什么 就是说我把一堆丝芙兰买到的 女生化妆品的小样 什么唇膏 就是各种小东西放在一个筐里 我就让这个机器人去抓取 看它抓取的成功率

其实当时它的那个成功率不是很高 对 我们也知道亚马逊 它其实是收购了 Covariant的核心创始团队 我能想象这个场景 基于仓库物流的分拣 它已经是有超级多的 工业应用场景了 所以在商业化上 虽然我知道 你可能还会有一个更远的梦想 你会考虑在一些垂直的应用场景 开始去做一些商业化的部署吗

对 我觉得这是一个特别核心的 商业化的思考 我们的策略实际上是认为 机器人的各种各样行业的应用 有非常多 作为我们自己一家公司 第一是做不完 大概有成千上万 甚至上十万 上百万不一样的机器人的应用 应该是由每个垂类的应用 最理解的这样的一个团队 去做推动和参与

我们自己在里边的定位是 比如说我们刚才看到的抓物体 包括之后 我们再推出的一些基础操作技能 应该把它排列组合的能力 给到每一个想要拿它去亚马逊里边 做各种各样化妆品的分拣 也可以做玩具分拣 也可以做零食分拣 同时它也可以拿到工厂里边 去做零件的上下料组装

也可以进到家里边 比如说 把我们吃完饭的桌子收拾干净 我们希望 我们能够做到的是一个底层基础 短技能的稳定可靠的基础模型 提供好API 并且能够把这些基础技能 拼成各种各样不一样的长程任务 但它的要求就在于 大家有这样的想法搭成 类似于像大语言模型里边的Agent

我们有一个新的描述叫Adapt 它其实是可以把我们对于 比如说今天我要在这个会议室里边 给我们再拿一杯咖啡 我可能是要从旁边的屋子 找到咖啡机 摁好那个按钮 端杯子来 中间还要经过两道门 这个任务 我们希望在任何的办公室里边 都能够完成 但它只需要 用同样的一套逻辑就可以

这一类我们管它都叫 机器人的上层应用 这一类的上层应用 我们就希望大家 用我们机器人的完整系统 包括本体和底层模型 搭出来这类应用的时候 假如说我是上层的开发者 我做的往会议室里面去送饮料的 这样一个应用 在任何一个办公室都可以起作用 对 大家跟你买的是什么呢 买的是一个机器人的本体

加上模型 加上API的调用次数吗 简单来讲 是本体加我们的软件支持 上层的应用 实际上是开发者去做开发 我们也可以帮大家 去做二次的分发 这个模式其实就回到 我们怎么认为机器人的商业模式 假如说是从硬件的形态而言 它更接近于汽车

里边有大量的像电池 电机 它的计算单元 相比于汽车而言 它的体积会更小一些 但是从结构上会比较接近 但是从商业模式上而言 我们一直内部认为 它更像是智能手机 会有公司去提供一个像iPhone 或者是像Android 它有一个硬件加一个操作系统 它有完整的SDK 开发者就在上面

去搭各种不一样的应用 可以贴牌 但更重要的是有人去做Uber 有人去做DoorDash 比如说像国内就有人做美团 有人做滴滴 同时还有人会去做Instagram 小红书 各种各样的应用 我开始听到你这个商业模式的时候 我本来想把它比喻成一个安卓手机 但是我后来想了一下 如果说你们是一个 安卓操作系统的话

还说小了 因为它的手机是可以自己制作的 操作系统它只是买软件 但是我理解 其实你们现在卖机器人整套的话 你其实是需要硬软件一起卖的 因为机器人的硬件跟软件 它是一个操作的整体 很难说它买一个软件 放在一个新的机器人上它能适配 对 这其实还是可以回应一下 您提的前面的一个问题

就是说Sim2Real的差距怎么搞 核心的原因 怎么能够去解得比较好 就是你的硬件和软件要一起设计 包括我们仿真器里边 去仿的这台机器人有两个要求 第一个是仿真器里边也不是万能的 我们可能有一些构型 或者是某些组件和元件 现在还没有办法仿得特别特别好 或者是还没有来得及去做处理

这时候我们就需要让这个机器人 在做硬件选型和构型的时候 用仿真器支持比较好的方法 去做设计和搭建 第二个就是硬件本身 它也有各种各样差异和噪音 即便是我们自己 在设计同一款机器人的时候 每台个体都有差异 这是不可能100%填平的

包括单独每一台机器 在每一次上电的时候 它的表现其实也都不太一样 这时候在仿真器里面 要对于这些噪音和差异 做一定的仿真 但这个前提都是你不能差别太大 了解 所以我理解 Sim2Real的这条路径 就是它一定要跟机器人的本体 是绑定在一起的 对 我们觉得是强绑定

虽然在我们成立公司之前 我们做开源的Sapien和ManiSkill 包括像Isaac 大家都在强调 说我可以支持各种不一样的构型 但我们想讲 开源的这些方法都是研究的方法 它其实是极度地简化了 比如说像机器人里边 导入到仿真器里边 它用的像有一个叫URDF的格式 对于它的几何动力学约束 都是做了一定的简化

它其实不太会考虑到 像电机的控制里边 它的噪声 它响应曲线的迟滞 包括每次上电时候的差别 这些其实在研究界 大家可能还没有办法 去考虑到这么多的细节 但是你要做一个稳定可靠 可以解决Sim2Real差距 并且可以在开放世界里边 有足够可靠稳定能力的

这样的一个机器人的时候 你就要把它 当成一个综合系统来考虑 对 所以靠跟硬件的整合 它是一条解决差距的路径 还有其他的方式 比如说在软件层面 调控的解决路径吗 对 我觉得就是所有方法 都要有机地结合在一起 比如说像数据的规模 和它结构化的规模 包括如何能够把它的仿真效率 拉得更高

比如说我们用不用真实世界的数据 去做训练 的确也有 比如说在仿真里边 我们也会让机器人去看 人去做操作的时候 哪一种方法更加的高效 我还是拿这个瓶盖举例子 机器人的强化学习 假如说是你要让它把瓶盖拧开 你会发现机器人一开始 它可能碰的都不是瓶盖 它可能会碰饮料瓶的标签 或者是饮料瓶的底部

甚至往上稍微地推它一下 但这些在早期强化学习探索的话 其实都是一些 相对来说比较随机的探索 但是你如果让它 看一段人的操作的话 比如说人在做瓶盖操作的时候 是接近于这个瓶盖 然后在附近去做了一些动作的时候 它强化学习的效率也会变高一些 这些其实

都是在强化学习框架的设计 特别是Model-Based RL 最难的其实就是在于 这部分你怎么能够给反馈 反馈设计得好 甚至是说怎么能够把它批量自动化 而且我觉得 机器人手去拧瓶盖的难度 跟你在仿真器里面 让机器人自己运动的这个难度 还是完全不一样的 因为你那个手拧的

不管是角度 还是你控制的变量 它差一厘米 它的区别就非常大 不用一厘米了 几毫米 对 您刚才提到的这点 其实是非常核心的一点 仿真里边的强化学习和Sim2Real 其实已经在类似于像波士顿动力 和宇树这样的人形机器人 和四足狗的locomotion（运动）控制 已经得到了充分的验证 而且比如说使用英伟达的Isaac

其实里边有一部分的强化学习引擎 也是我们团队成员在早期贡献的 大家都有些参与 但机器人 如果是要对于物体去做操作 它这个难度要高两到三个数量级 你说操作层面上 对 操作层面 就是拧瓶盖的这种 对 包括跟桌子上很多东西的一些交互 对 是的 这个很有意思 因为我们上个月 有一个线下的英文论坛

当时正好是英伟达它有一个证明 就是Sim2Real Scaling Law 起效的这样的一个方式 就是说我用Sim2Real 可以在现实中 真的去控制机器人的运动 他们那个研究成果刚刚出来 我印象还很深 我当时还在我们线下的活动上 还问了这个英伟达的科学家 我说 你这个控制大运动 听起来是已经可行了 但是控制灵巧手 这个是不是还是一个很关键的

没有被解决的问题 我觉得我今天跟你的这个聊天 好像正在找到这个问题的答案 对 我觉得我们之所以提这个难度 要高两到三个数量级 就是因为 如果你只是需要关注自身动作的话 你其实不需要对世界有理解 你不需要知道这个物体的形状 不需要知道它的材质 你也不需要知道 我怎么能够移动到这个物体附近

并且在接触到这个物体之后 怎么去做适度的调整 对于这个物体的操作而言 它的难度就在于 它首先要构建一个结构化的数据 这个在locomotion（运动） 比如说做姿态控制 实际上是并没有这个问题 它只需要关注机器本身 是的 第二 它其实对于环境的理解 和所谓大家现在讲World Model 其中有非常重要的一支 就指的是机器人

对于物理世界的理解和推理 预测 这些其实它们也不太需要 所以你们的机器人 是真的理解物理世界吗 还是它只是说数据训练得多 它不用管为什么 它就直接输出就好了 我们的这个模型相比于另外一派 比如Physical Intelligence 主要在推的狭义的VLA 就是以模仿人类动作 这样一个端到端

End-to-end模型而言的话 我们是要对于物理世界物体和环境 以及它未来的变化 要有强理解和强预测的 它并不是一个黑盒的模型 对于我们底层 我们一定要知道 我们的机器人在移动过程中 包括开始跟物体接触前 接触过程中 它的每一个推理和判断 包括它对未来的预测

都是要有认知的才可以 你刚刚提到 你们的模型不是一个黑盒模型 我们其实并不是 它是可解释的 我们为什么要对物体去接触和操作 为什么要去做调整 其实都是可解释的 比如说我们对这个杯子去抓 一开始可能没有抓起来 或者是拧这个瓶盖没有拧动 我们会大概知道 它在下一个预测状态当中 是什么样子

但核心就是闭环控制 当手接触到这个瓶盖的时候 用两个手指 用一个小的力量去拧的时候 它没有拧动 可能会出现两种情况 一个是我需要继续去加大力 还有一种方法 可能某一个国家 它这个瓶盖左旋和右旋的设计 可能就不太一样 了解 然后我看你们那个demo 是抓取物体 抓取物体跟拧瓶盖 我理解它对机器人的操作上 要求还是不一样的

对 还是不太一样 我们其实是这样来定义的 ManiSkill 在2020年左右开始推出的时候 就是把机器人底层的基础操作 分成了一些类型 包括它在过去的这五六年的时间 到目前为止 应该还是机器人做物体操作里边 最大的一个挑战赛和基准测试 里边的任务会分成 比如说物体的抓放

包括一些带有触觉的插线接插 组装等等当中很多的任务 常见的比赛里边 我们一般会设置十几种 你刚刚提到了 你们不是一个黑盒模型 但是我理解 现在硅谷最火的这些公司 像Physical Intelligence Skild 它们做大脑 就是纯做软件层 模型层的这些公司 我理解它们还是在尽可能地 去搭一个黑盒的模型

因为它还是在遵循现在这一轮的 生成式AI崛起的一个范式 就是说我堆的数据量越大 我的机器越智能 我未来赌的是一个通用 跟开放场景智能的程度 我之前也有跟一些做机器人的人聊 就是为什么白盒模型 这么多年没有起来 就是因为人可以预测跟想到的情况 是有穷尽的 同时你很难去解决

很多场景的边缘案例的问题 所以到底搭白盒还是搭黑盒 你们是怎么想的 以及未来的评估是怎么样的 我们模型在预训练的过程中 是有分层结构的 就是说我们需要在预训练的时候 让机器人知道 它对于物体未来所在的环境里面 要对几何材质和它的运动学 包括我做操作的时候

预测是要有一定的推理和认知的 但是最终在端侧部署的时候 我们也是一个端到端的模型 分层 对 其实在预训练的时候 预训练是大脑跟软件的那一层 比如我们让机器人 在我们的仿真器里边 要对这个物体 知道它所在的几何位置 包括对于它周边的 物体之间的一些材质的预估 重量的预估 它有没有知道

它实际上是分瓶盖和瓶身的 大概去操作的时候 应该像比如说逆时针旋转 这些其实都是它有理解和推断的 这一段是黑盒 我理解的这一部分 这段相对来讲 是以一个隐式表达可以去描述的 它大概在什么样的位置 有些是显式表述 有些是隐式表述 但比如说像硅谷 和国内绝大多数的机器人公司

在以模仿学习为主的 这样的一套思路 它其实是不太需要知道 物体究竟在环境里边它准确的位置 它也不太需要知道它的几何信息 比如说我们刚才讲的拧瓶盖 它其实并没有一个推理是说 我需要向逆时针的方向去做旋转 它之所以这么做 包括去接近 都是因为在那个环境之下

曾经有人是遥控这个机器人 或者是用自己的动捕服 做了那样的动作 它只是在纯粹机械地去模仿 它其实并没有特别强的理解 所以你们在搭建理解的这一部分 对 我们是需要在预训练的过程中 是有理解的 但人类其实在对瓶子操作的时候 我们其实并不会在脑子里边

有一个推理过程 说我这次拧这个瓶子的话 我要用逆时针的策略去转 顺时针转不动就逆时针 人类是很可变的 对 他是可变的 但是他也有一些常识 比如说我们每次去拧瓶子的时候 我们一般都是逆时针去转 因为这是一个常识 已经是刻在了 我们自己以前的肌肉操作里边去 但假如说是小朋友

第一次看自己 去拧一个饮料瓶子的时候 他会经历两个阶段 第一是他假如说从来没有看过父母 去做这个操作的时候 他会先往左拧一下 试一下 再往右拧一下 试一下 他是随机的一个尝试 但同时 他又会去观测 父母是怎么去做操作的 他可能会有一些理论依据

人在出生之后 他带有一定的对于物体操作的能力 比如小朋友出生之后 长大的过程中 他对于所有的物体 都会去抓抓 咬咬 拧一拧 掰一掰 去试一下的时候 有些运动的能力 其实也是刻在了人遗传的基因里边 机器人 我们实际上是要把整个进化的过程 在仿真器里边再去复现一次 你们会把人类的进化过程 在仿真器里面复现 其实是这样的

这个太有意思了 对 这个仿真器 之所以当时苏昊起名字叫Sapien 其实就是尤瓦尔·赫拉利 写的那本书《人类简史》的映射 它其实就是指的 怎么让智人从猿到人 一个进化的过程 但为什么我们选择 这个模型的进化策略 跟另外一派 说把数据堆构的策略 最大一点的不同

核心原因就在于 机器人数据堆构的方法 跟自动驾驶 包括2D图片 视频 包括自然语言一个最大的不同 就是它没有足够多的数据 自动驾驶可能是最接近的 参与到这里边的 自动驾驶的人非常非常多 但是它的一个核心在于 自动驾驶 比如说特斯拉 在可能十几年以前 就开始卖它的车 当时绝对没有现在的FSD

虽然它当时给大家画饼 说未来可能会有FSD 但实际上是有几百万的司机 买了他的车 在101的公路上面天天开 所以它是会变的 它不一定要只遵循一个范式 我可以在数据不够的情况下 用白盒加黑盒的模式搭 等数据量够了 我可以去改变我的技术 对 但是机器人你是很难

同一款机器 在没有任何功能之前 我卖500万台机器人 到各个办公室 家庭 或者是工厂里边去 并且旁边还有一个工人在遥控它 去做各种各样的操作 在我们的家里边 我们很难想象 我买了一台机器人 我需要穿着一个动捕服 才能够去做西红柿炒鸡蛋 对 这个我觉得基本上是很难 这在说1X吗 没有特指 对

但这个模式实际上就在于说 我们人类以公司方法去做组织的话 我觉得像国内的公司 已经做得是非常非常超前的 可能已经能到百台 甚至千台以上的规模 但它离500万台和1000万台 并且能够进到每一个家庭 每一个办公室 就像特斯拉的车 实际上是开到了

世界上几乎所有的角落 收集到了各种各样的数据 并且后面还有个司机 天天帮他去标数据 这些要素 在机器人里边可能都不成立 所以它冷启动的方法 就是像您刚才提到的 英伟达提到的Sim2Real 为什么一定是要推的一个方法 是躲不过去的 就是因为它冷启动的数据 实际上是需要一个百万

甚至是千万级别 在所有的开放环境里边 都要把这个数据给收集全才可以的 所以我理解这是你们用分层模型 而不是硅谷主流的 端到端的一个核心原因 在现有整个业界机器人数据 都远远达不到的情况下 我们可以通过分层 让机器人先跑起来 先提高它在开放场景

Zero-Shot的操作能力 然后你们的商业模式 比如说你现在是卖给很多开发者 当大家都开始用这些机器人 其实后面 你还要不要用一个新的方法 去搭你的训练范式 是可以变的 对 稍微分享一些 我们自己认为的一些小八卦 Physical Intelligence在成立之前 它们其实是在Google 包括Generalist 这个其实是在

Google Robotics里边工作的 非常多的核心人员参与的 那个时候 大家可能都是做端到端的模型 但再往前 当时大家有一个默契 有可能是底层的模型 有一个稳定可靠的底层操作能力 再向上 实际上是有 大家去做环境理解 包括拆分成不一样的任务 我怎么能够去那个咖啡机 拿到两个杯子 倒两杯咖啡

中间还得过两道门 但在大家2023年 2024年 先后开始搞公司的时候 大家就选择了自己擅长 和熟悉的套路 所以他们可能就不再提分层 但我们有一个暴论 可能从今年的下半年开始 上下分层的这种结构 会重新再回到主流里边来 而且可能在之后 大家选择的方案推到商业化里边去

可能是最终的一个方法 你可不可以简单一句话总结一下 上下分层指的是哪个上下分层 对 比如说从冰箱里边拿一个瓶子 把瓶盖拧开 把我们俩面前的这两杯水倒满 上层实际上是说 我们现在杯子里边没有水了 我要去重新倒水 机器人实际上 是要对于我们现在所在这个环境 要有理解 哪边是冰箱 里边有没有水

我第一步应该去走到这个冰箱面前 打开冰箱门 拿到这个瓶子 移动到这边 把瓶盖拧开 并且朝两个杯子里边 分别去注入一定的水 再把瓶盖给拧上 这些是属于我们叫拆分步骤 做推理的过程 但是底层在我们的划分里边 就是我如何去走到冰箱的面前 把门给打开 打开操作的这一层

对 抓住这个瓶子 移动到这边 把瓶盖拧开 并且往杯子里边去倒水 这些底层的每一步 具体对于物体的操作 我们叫底层操作 上层的这个 high level的reasoning 和planning当中 我觉得是可以分开的 所以你觉得今年所有的硅谷公司 都开始会做这种分层操作 我觉得很难讲今年 对

但是这个会回到大家的视野里边来 我觉得在最近几周的时间里 我们在跟学术界 工业界 大家做现场展示和交流之后 有些人已经意识到 这可能是一个新的方向 所以我理解 现在硅谷的很多像我们说的PI Generalist这些公司 它还是在把操作的层面 也是直接用大模型控制的 对 但是现在能做出这个判断

证明现在的控制 并没有大家想象中那么好 跟成功率那么高 我觉得是的 仅代表我自己个人 不一定是公司统一的想法 我觉得Physical Intelligence 和Generalist Google等等 这些机器人公司 其实更擅长做上层的推理 但是对于物体操作的话 靠少量的 比如说几十万小时 我觉得可能已经是现在操作的极限 人类真实操作物体的数据

远远没有办法达到 对于物体的开放环境 开放物体稳定可靠的操作能力 我可不可以理解成 上层是硅谷公司的优势 下层涉及到操作层面 因为你就一定要跟硬件相结合 这就是中国公司的优势 或者讲硅谷的机器人公司也好 大厂也好 中国的模型大厂也好

大量的具身公司也好 我觉得可能都是向上层 做推理的机会会更大一些 当然还有很多具身和机器人的公司 它们挑某一到两个垂直的应用场景 可能就类似于像大模型 它就做一种或两种的agent 但是对于底层 如何在随机的环境里边 对于一个任意物体做某一类的操作 我们认为

必须是一个软硬件强结合的公司 才能够达到 但这家公司 是不是只有中国公司能做到 我觉得未必 你们跟像宇树这样的公司 核心区别是什么 我觉得宇树 是在机器人硬件的量产能力 就率先给市场 交出了最好答卷的一家公司 对 2025年的出货量有5000多台 对 然后我们对比一下特斯拉 Figure这些美国的明星公司

它可能只有150台左右 对 而且宇树 是把这些5000多台的设备当中 真实地发到了用户的手里边 在操作上 跟大家关注方向的不同点上呢 宇树对于物体操作可能才刚刚开始 它主要是在大运动跟运动控制上 对 而且对于物体操作 这个人形机器人 是不是一个最稳定可靠的方法 短期之内不一定 未来可能是

今年我看见最近有一个大热点 是Skild AI 它的估值是冲到了140亿美元 它最新的一轮融资是14亿美元 投后估值是140亿到150亿美元 7个月前它的估值才是45亿美元 它其实就是做全身体的 通用机器人的基础模型 Skild Brain 对比我们刚刚一直在讲的 Physical Intelligence

它也算是硅谷做软件大脑的一个 非常有代表性的公司 它的估值也是56亿美元 你对这家公司熟悉吗 为什么它一下能拿到 这么大的一笔融资 估值的规模在大范围地提升 我觉得首先 Physical Intelligence 如果我没有记错的话 它最新的估值 也是在120亿到140亿美金之间 不一定完全对外公开

但他们也在做新的募资 我觉得这几家公司 包括Skild Physical Intelligence 包括Generalist都比较接近 就都做大脑 对 Skild的话比较特殊一点 两位创始人 Deepak和Abhinav 其实跟苏昊也做过很多的讨论 他们以前是坚决不信仿真的 但是在一开始募资的时候 他们是拿机器人仿真 作为他们主要募资的方向

但实际上据我们了解 做的业务可能偏敏感一些 我觉得在做具身基础模型 美国这边第一梯队的话 我觉得还是像 Physical Intelligence这样的团队 包括Generalist 以及还有一些创业的团队 像华人的Sunday 像Dyna 其实都在做一些探索 然后我们来看一下最近 我看Figure AI好像又被看好了 因为之前 它其实也是融资估值都很高

我觉得有一段时间 整个硅谷的投资人 我听起来 大家对Figure是有所质疑的 甚至也会质疑它放出来的demo 你是不是后期剪辑过 为什么最近 大家又重新看好Figure了 是因为它跟宝马的一个合作 还是因为它的技术能力 跟放出来的demo 有一个全新的提高 我觉得这轮 跟宝马的demo可能关系不大 因为最近大家对它关注

是在大概几周以前 它开始做一个产线里边物体的分拣 但在我们看 的确是比以前有一些进步 但在物体的操作泛化性 和环境的泛化性上 其实差别还比较远 第一 它里边出现了两类物体 一个是在做实验的一个包裹 但那个包裹其实形状几乎是一样的 都是正方形的 对

你是说它一天的直播 对 几天 它后来持续了几天 但如果是按照我们要求的标准 第一 它的物体泛化性其实不高 因为一共只有两类物体 一个是盒子 一个是软性的包装 而且颜色和重量几乎是一样的 第二 它的机器人所在的工作环境 一直是在它们自己公司里边 搭建的那一条测试线里边 并没有走出去 很难

所以如果是拿遥操作 做VLA这条方法的话 最大的约束和挑战 就在于它对于光照和环境的变化 都极其的敏感 一旦变化了之后 它的成功率会直线地下降 所以大家对Figure还是有质疑的 就觉得它的demo放出来还是简单 对 但我觉得比以前已经好很多了 洗碗机的那个是它的demo 对吧 洗碗机是它的demo 对

但我们听说是花了很长时间拍一条 对 对 我听到的也是这样子的 另外就是我看见今年 还是有很多的机器人公司 它在进入部署阶段的 比如说马斯克 就把Optimus要放到Fremont的工厂 让它在工厂里面去做一些工作 当然他自己也说了

开始大家还是希望它能进家庭 能真正干活的 但是他说他现在放Optimus 他其实主要也是为了训练数据 而不是真正地让它干活 我觉得特斯拉的人形机器人 现在也是大家蛮关注的一个点的 就是从一个专业的 同行业创业者的角度 你会怎么去看他的部署 在我们2025年 主力团队搬回到国内之前

其实我们跟特斯拉的自动化团队 有一些合作 但是当时他们在自动化产线里边 使用的自动化 能够让机器人 在里边去做任务的时候 Optimus肯定是 还没有能够满足那个条件 当时应该只是在Optimus团队里边 去做一些 比如说像一个固定的位置当中 去拿电池这样的一个动作 但Optimus

我觉得是未来美国的 机器人行业里边 肯定是最大的推手 因为它硬件的核心和制造能力 实际上是非常强 模型的话 我觉得按照Tesla 和Elon Musk的风格 可以等到这个行业 有较为好的方案出现之后再去补 可能也来得及 但同时我们当时也听到 Tesla里边可能有一派的声音是说

Elon他自己当时也提过 先造一系列的机器人 让外界的人去做研发开发 跟你们的思路有点像 我觉得有点像 但他的思路 我觉得是跟现在很多 做机器人硬件的团队更像 我不给你模型 我给你很好用的硬件 我懂了 你自己去开发模型 对 但我们实际上 是想要给大家一个硬件 同时有底层大家不太好操控的

软硬件一体 对 这部分 对 然后我看今年波士顿动力 电动版的Atlas也在开始出货了 这个是一个值得关注的点吗 对 我觉得这是一个特别关键一点 我们自己内部定义的 最大 最有潜力 跟我们一起去推这个方向的 可能就是波士顿动力的电动版Atlas 加上Google的DeepMind 如果大家去年

看Demis Hassabis的一些采访 包括他的纪录片 以及一系列动作的话 我觉得他们对于物理世界AI的下注 可能是在所有的大厂里边 最坚决的一家 只不过现在他可能还要分时间 去兼顾Gemini跟Anthropic 和OpenAI去做竞争的这样一波 但我觉得去年 有一个非常重要的信号 第一 他们已经把硬件的平台

从原来的Apptronik 和另外的一台机器 换成了电动版的Atlas 同时他从波士顿动力的硬件部门 把核心的几个人 都挖到了DeepMind的团队里边来 所以未来机器人行业里边 假如说我们走的是硬件 也是我们自己造 软件底层模型也是我们自己搞 那么Google

会不会重复Android的方法 再做一次 对 用波士顿动力的硬件 包括现代集团 在后面量产能力的支持 同时 他们自己在仿真器 在几年以前 就收购了MuJoCo团队 自己在做不断地改进 他自己还有他自己的世界模型 Genie 3这些 对 他有几乎无限的卡 世界上最好的人才聚集在一起 并且他是下了决心

就是从公司 相比于Anthropic OpenAI Meta 国内的这些大厂 可能是唯一一个带团队的负责人 在机器人上面如此用心的 他可能是未来最 因为他硬件也有 软件也有 我觉得这个跟其他公司 完全不是在一个量级上的 我们感觉他是坚定地相信 Sim2Real这条路的 对 我知道苏昊的团队跟DeepMind

可能也会有很多的交流 应该你们也是有合作 对 我们跟Google Robotics 以前的交流合作非常非常多 甚至说那个团队里边 有很多都是他的师弟师妹 有一些核心人员 是他曾经PhD的学生 包括PI创始团队里边的也有 但我觉得DeepMind的这波 它会把核心的人才聚集在伦敦 在英国 模型团队和硬件团队聚集在一起

这个事情我们觉得非常重要 就跟当年 Steve Jobs说做Apple开发的时候 有人问能不能去另外一个办公室 能不能远程 他坚决不同意 我觉得是一样的 所以在所有的机器人公司中 你们最看好的是DeepMind 加波士顿动力 这个还是挺有意思的 对 我觉得这可能跟大家想的 都不太一样 我觉得可能在接下来的 两到三年里边 从机器人的操作能力

和综合能力上而言 我们认为的最大竞争对手 可能是DeepMind加波士顿动力 对 因为波士顿动力 大家知道最开始是谷歌收购了他们 后来他们又全部卖给现代集团了 所以它现在跟DeepMind之间 关系是怎么样的 它还有股权关系吗 现在股权关系应该没有 我如果没记错的话 现代集团应该是主要的控股股东 然后剩下的软银

应该还是保留了10%到20% 但DeepMind这次 不一定会把波士顿动力 再纳入到体系里边来 但波士顿动力 会把DeepMind作为它大脑模型的 可能最重要的一个合作伙伴 对 我们再说一下亚马逊 因为亚马逊其实去年年底 我听All-In的播客 他们说其实有一家公司 非常值得关注 就是亚马逊

理由就是说亚马逊马上 今年它的机器人的部署 可能已经比它的员工还要多了 因为它们其实是有仓库 分拣的这些场景 它天然是一个场景的应用方 而且它也收购了Covariant 你会怎么看 亚马逊在机器人上的布局 我觉得亚马逊一直是在机器人里边 投入最多的一家大公司 但它的数量可能还是以 比如说像第一

像仓储物流里边 像做AGV 像Kiva很早就收购 包括像各种各样机械臂的应用 各种各样的人形机器人公司 比如像Agility Covariant 之前可能还有一些其他的公司 都在里面去做尝试 我觉得它会提供一定的场景 但亚马逊最终 要不然就是要把这些公司收购 要不然就要自己去做 我觉得Covariant 也是当时把亚马逊

作为核心的客户之一 刚刚在聊 硅谷跟中国的这些机器人公司 它的发展过程中 我基本上还可以总结 就是整个硅谷 它还是在更加看重 机器人它的通用性 泛化性 包括它大脑层面上的这些进展 因为我们看到市场上 最高估值的公司 全都是集中在这一块

中国它有非常好的硬件的底子 但是同时 我也看到很多的公司 开始可能也抱着说 我们要去做机器人的 通用性的这些想法 但是最后 它可能因为有商业化的压力 它可能最后都退回到了单一场景 你怎么去看这种理想很丰满 最后大家回去做垂直赛道的现象

我的核心推断还是跟前几轮 比如说像做视觉大模型 比如像当时的AI四小龙 包括后来 做语言模型的科大讯飞等等类似 如果是对于基础模型如何去构建 没有一个特别清晰的想法 只是想边做边试的话 我觉得其实很难 大家都会因为商业上的一些压力 去做妥协

但是对于我们团队而言 我觉得也是分成两侧 假如说我们对于基础模型 如何去推进也是在摸索 没有较为清晰的一个方向 能够在未来的 比如说当时启动的时候 能够在12到24个月里边 应该能够看到什么结果 有判断的话 我觉得我们也未必能够 一直坚持这样的一个方式和方法 所以你是看到了 技术上通用的可能性

我觉得是这个团队 可能在过去七八年的合作里边 其实已经有了一些感觉和认知 再把哪些要素补充在一起 大家合作是 比如说12到24个月的话 就能够看到第一阶段的效果 我觉得这个比较关键 而并不是说 我们把数据先做一些小模型 先试一下

是不是把数据堆到一定程度之后 什么程度现在也不知道 有可能是1000万小时 有可能是1亿小时 有可能是10亿小时 说不定就做出来了 我觉得“说不定”这三个字 在我们团队里边几乎不太会出现 但是对于其他的团队而言 大家都是在探索 会受到自己团队内部 包括投资人和商业化的一些压力

就会选择一个垂类的场景 这时候客户给大家要求的时候 就会导致跟你训基模的这个思路 肯定会有背离 所以你们是怎么看到 它能做成通用的可能性的 是结果吗 我觉得实际上是通过 以前一系列的研究工作 能够感知到这个系统应该可以工作 就是说在小规模上应用的话 已经起作用了

只要再给整个搭建完整系统里边 大家再齐心协力去试一下的话 有可能能够得到初步的结论 要做通用人工智能 它是一条更远更长的路 在这个中间 怎么让自己的公司活下来 你作为公司的CEO 你会有这个压力存在吗 我觉得我们肯定会有压力

但相对而言还好一些 我觉得机器人在这一波趋势里边 由于大模型的出现 包括infra的出现 我们感觉会把它推到下一个阶段 我们实际上是 不会赌某一个垂类场景 哪个能够跑出来 而是希望我们通过 提供一个硬件加底层的模型 让大家去试 我们希望

我们服务的1000个开发者里边 有100个能够找到 能够小批量去做部署的 这样的一个应用场景 但另外900个人 可能会有比较好的demo 或者是研究的成果 这100个人里边 可能会有5个 10个 会做一个超级应用 他可能会需要部署1万台 甚至更多的机器人 到不一样的场景里边去 但究竟是从冰箱里边

去给我们取饮料瓶倒水 还是说在工厂里边 去完成汽车的组装 还是说比如像亚马逊 这样的一个仓库和分拣环境里边 去抓丝芙兰的唇膏 我们不会去赌某一个场景 因为这个团队 我觉得它的特质也并不是说 到工厂里边去部署和集成测试 整个的开发者 社区里边 包括集成商 自动化团队

各自都会有各自不一样的擅长 我们希望 就是做底层的新的工具链给大家 现在把更多的钱 投入到你们更有长远场景的研发上 还是说把一部分的精力也投入到 比如说针对开发者的 软硬件一体的平台分发上 你觉得哪一个 是你现在在负责的重心

或者说你会怎么去做你的资源分配 我们的核心 是在提供一个可靠稳定的硬件 加底层模型 从一个抓的技能 到三到五个比较常见的技能 并且把它组合开发的工具做好 让100个开发者 能够在上面去做不一样的应用尝试

这是我们在现在 和接下来几年的时间 最核心的一个目标 我们希望100个 1000个开发者 在上手（的时候） 能够出现我刚才描述的情况 有些人可以找到一些 有意思的应用场景 可以做批量的使用和部署 也会支持你们技术团队 去做大规模研发上的投入 对 我们肯定会在这方面 是我们最核心的持续性投入

但是为了验证大家可以拿它 去做行业里面的垂类应用 我们肯定也会挑一到两个场景 跟一到两个开发者紧密地配合 把我们的开发工具一定要做好 如果10年后回头来看 你是希望苏度科技被人记住的是说 我们做出了一个通用机器人的产品 还是说我们证明了 Sim2Real这条路是对的

我觉得Sim2Real这条路是对的 是副产物 我们希望10年以后 当大家回看 今天这个时间节点的时候 会认为这可能是一个 类似于像iPhone加iOS操作系统 那个时候会有新的Uber 有滴滴 有美团 会有新的DoorDash长出来 我们希望大家用的 硬件加底层的系统和软件

至少有一部分是我们提供的 一个非常有野心的梦想 对 的确这样 现在做通用 应该要牺牲很多垂直的商业化机会 我觉得是的 但我跟苏昊在一开始商量的时候 我们也觉得 现在如果是做垂类的商业应用 有的时候账是算不过来的 但大家也在抢地盘 就是有一些产品 一个机器人部署了 它很难再换一个

对 一个机器人部署 替代一定的人工 实际上你也可能要花 三到五个PhD的成本去维护 对 还是挺好的一条路径的 很坚持 对 我觉得就是难 但是可能最终是最有效的方法 好 今天非常精彩 谢谢 好 谢谢 谢谢 好了 这就是我们今天的节目 大家会怎么看机器人的这场竞赛呢

欢迎给我们写评论 写留言 播客的听众 可以通过小宇宙 苹果播客 还有Spotify来收听订阅我们 大家也可以在B站和YouTube上 搜索“硅谷101播客” 来看到我们的视频版本 我们部分的文字稿 也会收录在 “硅谷101”的微信公众号上 我是泓君 感谢大家的收听