OpenAI’s Sam Altman Talks ChatGPT, AI Agents and Superintelligence — Live at TED2025

翻译人员: Yip Yan Yeung 校对人员: Sue Lu 克里斯·安德森（Chris Anderson）： 山姆，欢迎来到 TED。

非常感谢你的光临。

山姆·奥特曼（Sam Altman）： 谢谢，这是我的荣幸。

CA：你们公司一直在发布 令人疯狂的新模型， 感觉差不多每隔一周就有。

我一直在玩其中的几个。

给你看看我在玩些什么。

Sora 是个图像和视频生成器。

我问了 Sora， 如果你在 TED 这里跟我讲些 惊天秘闻，会是什么情形？

看看它是怎么脑补的。

（笑声） 还不错，对吧？

你给它打几分？

每只手都比出五根手指的高分。

SA：和我穿的差不多，不错。

CA：我从来没见过你这么活泼。

SA：不，我不是那么活泼的人。

CA：那你可能会打个 B+。

但是这幅图确实让我惊呆了。

我让它画一幅图， 展示智能和意识之间的区别。

你们会怎么画？

它是这么画的。

很简单，但很厉害。

是什么流程让它能够…… 显然这不仅仅是图像生成。

这与你的基座模型的核心智能有关。

SA：是的，新的图像生成模型 是 GPT-4o 的一部分， 它具备所有的智能。

我觉得这就是为什么 它能做到人们非常喜欢的事情。

CA：假如我是一名管理顾问， 我会一边尝试这些东西， 一边想，我的未来会受到什么影响？

SA：我觉得可以从两种不同角度来看。

你可以说，它做了本来我做的事。

我该怎么办？

你也可以说， 就像历史上其他技术革命一样， 好啊，现在有了这个新工具， 我可以成就更多了。

那我打算做些什么呢？

我们确实会提高 对某个特定岗位人员的期望值， 但能力也会急剧提高， 我认为很容易达到与其匹配的水平。

CA：这也给我留下了深刻的印象。

我让它想象一下 查理·布朗把自己当做 AI。

它生成了这个。

我觉得这还挺引人深思的。

你怎么看？

（笑声） 一些新模型的写作质量， 不仅在这张图上，而且在细节上， 真的正在达到一个新的高度。

SA ：这是一个很好的宏观答案， 但其实没法知道它真这么想的呢， 还是在训练集中看了很多遍后的记忆。

当然，如果你都分辨不了， 你又会多在乎这点呢？

CA：太有意思了。

我们无从知晓。

但是…… 乍一看像是知识产权剽窃。

你们没和《花生漫画》版权方签过协议？

（掌声） SA：尽情鼓掌吧。

（笑声和低语声） 我认为人类的创新精神非常重要， 所以我们想造出提升它的工具， 让更多人创作更好的艺术和内容、 更好的小说，供大家欣赏。

我深信，人类将是这一切的核心。

我还认为，我们可能确实需要 为创意产出的经济运作找到新模式。

我认为人们早就一直都是 在前人的创意基础上不断发展。

人们长期以来一直在汲取前人的灵感。

但是，随着越来越容易接触到创意， 人们总是在彼此的创意基础上不断发展， 有些很棒的新商业模式 我们非常乐于探索， 现在还不确定到底会是什么样子。

当然会有一些板上钉钉的事， 比如你不能抄袭别人的作品。

但你能汲取多少灵感呢？

如果你说，我想用 这七个人的风格生成艺术作品， 他们都同意了， 但你给每个人分多少钱呢？

这些都是很重要的问题。

但是，纵观历史， 我们每次都把更好、更强大的技术 送到了创作者手中。

我们共同制作了更好的创意产出， 人们也会成就更多了不起的事情。

CA：还有个更大的问题是， 如果他们并不同意呢？

在我们的开场演讲中，卡罗尔·卡德瓦拉德 （Carole Cadwalladr）展示了 “ChatGPT 以卡罗尔·卡德瓦拉德的 风格进行演讲，” 当然，ChatGPT 的演讲 不如她本人的演讲那么好， 但也够厉害的。

不过她说了： “虽然不错，但我没同意。”

我们将如何解决这个问题？

有没有这样一个办法， 只有本人已经同意才会采用？

还是应该有这么一个模式， 说明提示词中提到的任何人， 如果使用了他们的作品， 就要让他们得到相应的报酬？

SA：如果你现在用我们的图像生成，说： “我想用一位在世的艺术家的风格，” 它是不会这么做的。

但如果你说想要用某种特定的风格、 某个工作室的风格、 某种艺术潮流，它是会照做的。

显然，如果你想…… 生成一首象复制品的歌， 它是不会照做的。

有些问题， 比如界限到底在哪里， 人们什么时候会说“这太过分了”， 我们已通过版权法和 合理使用范畴解决了这些问题。

我认为在 AI 的世界中， 我们会摸索出一个新模式。

CA：从我的角度来看， 创意人士是现在对 AI 感到最愤怒或恐惧的人。

感觉自己的作品被偷走了， 未来也被偷走了， 相比你的作品被放大， 拥有更强的影响力， 那是截然不同的感受。

如果我们可以过渡到第二种感受， 我认为这真的可以改变 整个人类接受这一切的程度。

SA：嗯，没错， 我知道有些创意人士非常不安。

有些创作者则会说： “这是有史以来最神奇的工具， 我在创作很棒的新作品。”

我在创作很棒的新作品。” 但说到底，这一定是种改变。

我十分理解一些人的想法： “多希望没有这种改变。

我喜欢以前的样子。”

CA：但按理说， 你可以通过任何提示词计算…… 有办法可以计算出 每个输出产生了 多少百分比的订阅费等收入。

理论上是可以搞清楚所有规则的， 当然，一定会很复杂。

你可以计算出收入份额，对吧？

SA：如果你是音乐家，从童年起，一生 都在听音乐， 然后你突发奇想要写一首歌， 灵感来自你以前听过的音乐， 但创作方向并不一样， 你很难说清哪部分是 来自我 11 岁时听的某首歌。

CA：没错。

但我们聊的是有人在提示词里 明确指名道姓的情形。

SA：同样，如果你现在试图 生成某个特定风格的图片， 假设这位艺术家仍在世， 我们是不会照做的。

但我觉得如果 有这么一个新模式会很酷， 我想用某位艺术家的风格， 他们也选择让我用， 那就可以建立一个盈利模式。

我认为这是一件很值得探索的事。

CA：我觉得社会应该 尽快帮你们找出这个模式。

我认为它会带来巨大的改变。

我想快速换个话题。

（掌声） 你们的模型和开源模型之间的对抗。

DeepSeek 的到来对你们冲击有多大？

SA：我认为开源也非常重要。

其实就在昨晚， 我们举行了第一场社区会议， 决定我们开源模型的参数， 以及要把它设计成什么样。

我们会做一个很强大的开源模型。

我认为这很重要。

我们的开源模型会接近前沿， 比当前市面上任何开源模型都强。

但这并不是全部…… 会有人以大众——也许包括你我和在座诸位 ——不认同的方式来运用它。

但开源模型作为产品组合的一部分 会占有重要的一席之地。

我觉得我们已经动手晚了， 但我们将会做得非常好。

CA：你们的支出似乎 比 DeepSeek 宣称的支出 高出一个数量级，甚至几个数量级， 尽管我知道这方面存在争议。

你相信这个更好的模型会得到认可吗？

或者你觉得， 在某种程度上，你们的信念受到威胁， 必须通过扩大规模，投资数百亿美元， 从而保持遥遥领先的地位？

SA：我整天都在给人打电话， 恳求他们给我们 GPU。

我们的资源太有限了。

我们的增长是线性的。

DeepSeek 发布了， 但似乎没有影响到我们的增长。

还有其他产品也在不断推出。

CA：说说你们的增长情况吧。

你在后台说了个惊人的数字。

SA：我从未见过任何一家公司的增长， 无论我是否参与过， 能够匹敌 ChatGPT 的增长。

太有意思了。

我深感荣幸。

但经历这些太疯狂了， 我们的团队精疲力尽，压力很大。

我们在努力维持现有状态。

CA：你们现在有多少用户？

SA：上次说的是每周 5 亿活跃用户， 而且还在飞速增长。

CA：你说短短几周内翻了一番。

在算力方面或是…… SA：我可是私下说的，不过…… CA：哦。

（笑声） 我记错了，山姆，对不起。

如果你实在不愿意， 我们可以把这段剪辑掉。

在场没有人会发推特的。

SA：它的增长速度非常快。

（笑声） CA：所以你很有信心， 你看到它在增长， 像火箭一样飙升， 你一直在发布很棒的新模型。

你目前在你最好的内部模型中 看到了什么， 虽然还没有与世界分享， 但你想在这个舞台上聊一聊？

SA：首先，你之前问到， 我们是否在担心这个或那个模型？

世界上会有很多智慧的模型。

非常智能的模型会普及到一定程度。

我认为我们会推出最好的， 有些用途会非常需要它。

说实话，现在的模型已经很聪明， 它们已经能帮大多数人 做大多数的事情。

我希望这种情况会逐渐改变， 因为人们的期待会更高。

如果你只是 ChatGPT 的普通用户， 那么模型的智能已经够好了。

但是，我们还须打造出色的产品， 而不仅仅是出色的模型。

有很多人都会拥有出色的模型， 但我们想做出最好的产品。

人们想要图片生成， 你之前已经看到了 Sora 的视频示例。

人们想把这些功能都加进来。

我们刚刚推出了一项新功能， 它还是叫“记忆”（Memory）， 但比之前的记忆好得多， 这个模型会跟踪了解你的一生。

我们还有很多这类集大成产品要做。

我觉得人们会很喜欢的。

还会有很多模型，但我认为 我们会继续专注于做出 这个领域最优秀的领军产品。

CA：看了你昨天的发布说 “ChatGPT 会记得 你所有的查询历史”， 我就输入了：“ChatGPT， 说说你所知道的我吧。“

我就输入了：“ChatGPT， 说说你所知道的我吧。“ 结果让我大吃一惊。 山姆，太震撼了。

结果让我大吃一惊。 山姆，太震撼了。

ChatGPT 知道我是谁、我的兴趣爱好， 还好大部分还算体面，可以分享。

但这也太惊人了。

我体会到了真正的兴奋， 和一点不安， 但主要还是兴奋， 它能有好多的用处啊。

SA：我们的一位研究员在推特上说， 大概是昨天或今早吧， 他说，上传是逐步完成的, 不是哪天你把大脑一插就行了。

你一生都得和 ChatGPT 对话。

以后，如果你愿意， 它会整天听你说话， 观察你在做些什么， 逐渐了解你， 慢慢成为你的一部分，你的伴侣， 试着帮你尽力成为最好的自己。

CA：在电影《她》中， AI 表示“她”阅读了他所有的邮件， 断定他是一位优秀的作家， 然后说服一家出版商出版他的作品。

这可能会比我们想象的更快实现。

SA：我觉得不会完全一样，但确实， 我认为 AI 会按这个方向…… 你都不需要打开 ChatGPT 什么的， 问问题，寻求答案。

AI 就会主动推送给你有用的信息， 让你变得更好更强大的信息。

看来真的很快就会实现了。

CA：从内部看，你看到了什么 将会让人们大吃一惊的东西呢？

给我们稍微剧透一下 下一个爆点是什么。

SA：我个人目前最期待的是 用于科学领域的 AI。

我坚信， 新的科学发现是世界和人们生活 越来越美好的最重要的推动力。

我们可以用更少的资源做更多的事情， 我们拓展了可能性的边界。

使用我们最新模型的科学家 给了我们很多反馈， 强调说他们比以前更高效了， 这对他们的科技发现至关重要。

CA ：会有什么近期的重大发现吗？ 比如室温这类的……

SA：超导体？

CA：超导，是的。

这可能吗？

SA：我认为这并没有违反物理定律， 所以理论上是可能的。

但是我们也不确定。

你会开始看到一些…… 使用 AI 辅助工具 治疗疾病的重大进展。

物理方面的，可能还要更长时间， 但我还是抱有希望的， 也算是一个方向吧。

另一个大爆点很快就要开始了， 就在接下来的几个月里。

软件开发已发生了翻天覆地的变化。

现在编写软件的流程 与两年前已差异很大了。

但我预计接下来几个月还会有大动作， 因为智能体软件工程真的要来了。

CA ：我听一些工程师说， 有的新模型带来近乎神圣的感觉， 突然间他们一下午就能干完 原本需要两年时间的事情。

SA ：是啊，太震撼了…… 这也是我深切感受到 “ AGI 要来了”的时刻。

CA：谈谈你见过的最可怕的事情。

因为外界认为你们能接触到这些东西。

我们听到了 AI 带来的各种谣言， “天哪，他们已经看到意识了。”

“天哪，他们已经看到意识了。” “他们看到 AGI 了。”

“他们看到末日要来了。”

你有没有看到…… 有没有一个可怕的瞬间， 你在内部看到了什么，然后想： “哦不，我们得提防这个吧？”

“哦不，我们得提防这个吧？” SA：确实有令人敬畏的时刻。

那时就会想，它究竟还能走多远？

还会发展成什么样？

但是并没有…… 我们没有悄悄地拥有…… 没有悄悄地搞什么有意识的模型， 它们能做到自我改进之类的事。

AI 的重大风险会是什么，众说纷纭。

我对这个问题的思考也在不断演变。

我仍然相信有人会严重滥用 将来出现的非常强大的模型。

人们总是在谈论会不会有新型生化武器、 真正造成网络安全挑战的模型、 擅长自我改进的模型， 由此导致一定程度的失控。

我觉得确实有很大的风险。

还有很多其他的问题， 很多人谈到了虚假信息， 或者模型说出他们不想听到的话，等等。

CA：先来聊聊第一点， 你们会在发布之前先内部检查吗？

SA：当然会。

我们有一套《准备框架》 （Preparedness Framework）， 说明我们该怎么做。

CA：有些人从你们的安全团队离职了。

人数有多少，为什么离职？

SA：确实有，我不知道确切数字， 显然，对于 AI 安全系统， 我们各执己见。

你可以看看我们一直以来的记录。

人们总是有各种各样的意见。

世界上 10% 的人 一直在用我们的系统。

我们为我们的安全记录 感到非常自豪。

CA：过往记录不一定是关键…… SA：它是。

CA：因为我们谈的是指数级增长力， 担心的是某天醒来就世界末日了。

所以过往记录确实不是关键， 而是我们时刻准备着 在发现危险时能够立即关闭机器。

SA：这当然很重要。

你不能某天醒来才发现： “嘿，我们还没有安全性流程。

现在模型太聪明了， 那我们来考虑一下安全问题吧。”

那我们来考虑一下安全问题吧。” 你在指数型增长的全程 都得考虑这个安全问题。

风险当然越来越高了， 还有重大的挑战。

但我们学习如何构建安全系统的方式， 是将它们部署到世界中， 再获取反馈的迭代过程。

尽管现在风险较低，我们已知道 这是我们必须解决的问题。

由于开始使用智能体系统， 我们有一系列需要解决的新问题。

CA：我们来聊聊智能体系统吧， 以及它和 AGI 有什么关系。

我觉得大家都比较困惑，我也是。

那么，通用人工智能（AGI）， 感觉 ChatGPT 已是通用智能。

我可以向它提出任何问题， 然后它会给出一个很智能的答案。

它为什么不是 AGI 呢？

SA：它不是…… 首先，你不能问它所有问题。

很高兴你会这么夸它， 但它在很多方面还是差得离谱。

即使我们解决了这些问题， ChatGPT 也不会持续学习、改进。

它无法在它目前不擅长的事上进步。

它不可能去发现新的科学， 从而更新自我认知。

即使我们降低要求，它也不能 完成你在电脑上做的知识性工作。

其实，即使没有自主改进的能力， 我也可以把它当作某种层面的 AGI。

但是当前的系统， 你不能对它说：“嘿， 帮我把这项工作任务做了，” 然后它就去上网点来点去， 给某人打电话， 查看你的文件，等等。

没有这种能力，总感觉少了点什么。

CA ：你们内部对 AGI 有一个明确的定义吗？

你认为我们什么时候能实现呢？

SA：有这么个笑话， 如果你和 10 位 OpenAI 研究人员共处一室， 让他们定义 AGI， 你会得到 14 个定义。

CA：不过这很令人担忧，不是吗？

因为一开始的使命是： “我们要率先实现 AGI， 并确保其安全性。

但我们并不清楚 AGI 的定义。”

SA：我还没说完。

CA：不好意思。

SA：但我认为重要 且人们想知道的，不是 那奇妙的一瞬间：“我们搞定了。”

那奇妙的一瞬间：“我们搞定了。” 但接下来可能会发生的是 模型越来越智慧、越来越强大， 越来越智慧、越来越强大， 在长期的指数型增长上， 每个节点都会有人声称实现了 AGI。

但我们都认为其发展会远超那些， 要直到出现比我们强得多的系统， 随便你想怎么叫它。

重要的是我们如何应对这个系统， 让它能安全地完成所有改进步骤， 尤其在它变得比我们更强大， 能做到我们难以理解的事情的时候。

我认为比 AGI 的定义 以及何时实现更重要的是 我们都知道我们走在 这条惊人的指数型增长曲线上。

你可以说，我认为 AGI 就是这样。

你可以说，你认为 AGI 就是这样。

其他人可以说，超级智能已经来临， 但我们必须努力争取 从这个神奇的系统得到巨大的利益。

因此，我认为我们应该将话题 从什么是 AGI 时刻转移到 这样的认知：它的进程不会停止， 还会超越我们所谓的 AGI。

我们必须建立一个社会体系， 确保从该技术中获得巨大利益， 同时搞清如何保证其安全性。

CA：这周谈到过真正的变革时刻是…… AGI 是个模糊的东西， 但很显然智能体 AI…… 当 AI 可以自行完成项目， 做好每一项工作…… 你其实已经有 Operator 可以做到这一点了。

我试了一下。

我想预订一家餐厅， 结果太不可思议了， 它似乎真的能搞定， 反正它是这么说的。

这过程很有意思。

它让我：“提供你的信用卡”，等等， 我是拒绝了，没有继续下去。

我认为这是人人都会面临的挑战。

它有非常强悍的超能力， 有点吓人。

约书亚·本吉奥（Yoshua Bengio） 在这里发言时说， 智能体 AI 是值得关注的问题。

如果我们允许 AI 上网完成什么事， 一切都可能会跑偏。

上网在科幻故事中， 就是逃跑的时候，也许…… 后果不堪设想。

你们如何在发布智能体 AI 的同时 又设置避免 让它太出格的防护措施？

SA：首先，你可以选择，只须说， 我不想这么做。我会打电话给餐厅，

我不想这么做。我会打电话给餐厅， 告诉他们我的信用卡号。

CA：我可以这么选择，但有些人会说： “哦，你去看看吧， ChatGPT 都能随便上网了， 它会重塑互联网， 让人类用起来更方便。”等等。

它会重塑互联网， 让人类用起来更方便。”等等。

SA：我要说的是，任何新技术， 人们都需要一段时间才能适应。

我记得我曾拒绝把信用卡放上网， 因为我父母让我坚信卡号会遭偷窃， 所以我还得填表然后打电话付费。

然后大家都意识到， 那我们做个反诈系统吧， 这样就能放心用网银了。

我认为人们在各方面 适应智能体 AI 都会很慢。

但我也非常同意你刚说的， 就算有人适应，有人不适应， AI 系统都将大量出现， 在网上点来点去。

我认为，这是我们面临的 最有意思也最重大的安全性挑战。

因为你让 AI 访问你的系统、信息， 允许它在你的电脑上点来点去， 那 AI 犯错误的时候， 代价就更高了。

它是一扇大门…… 我们之前谈到了安全和能力。

我想它们越来越趋近合二为一。

好产品一定是个安全的产品。

你根本不会用我们的智能体， 如果你不相信它们不会 清空你的银行账户、 删除你的数据或是进行其他操作。

人们想使用他们真正信任、 非常安全的智能体。

我觉得我们跨过这道坎才能进步， 这些取决于我们自身的能力。

而这些是产品的基本组成部分。

CA：在一个充满智能体的世界里， 公开模型已被广泛使用，如果有人说： “行吧，AGI， 请你上网， 尽你所能散布一张表情包，

说某某是个坏蛋，”之类的。

这不一定是个人选择。

一个人可以放出智能体， 然后由智能体决定： “为了执行这个功能， 我得四处复制我自己。”

我得四处复制我自己。” 你们内部有没有明确划定红线， 知道什么时候是危险时刻， 不能做出跨越红线的事？

SA：这就是《准备框架》的目的， 我们还会不断更新。

但我们已尝试写下我们认为 最重要的危险时刻， 或者危险类别、以及如何衡量它们， 如何在发布之前减轻危害。

从对话中我能看出你不是很喜欢 AI。

CA：恰恰相反，我每天都会用它。

我很敬畏它。

我认为活在此刻太值了。

我也只愿活在此刻， 我迫不及待想看到它的发展。

我们一直心怀…… 我觉得很有必要…… 我们不能把人们划成非黑即白。

你必须对可能性抱有坚定的信念， 但不能被它蒙蔽双眼， 因为结果可能会严重跑偏。

（掌声） SA：我完全理解。

我完全理解这种心态， 人们认为这将给世界带来巨变。

所以，也许我不想巨变来临， 也许我只喜欢巨变的一部分。

也许我喜欢和 ChatGPT 对话， 但我担心它对艺术产生的负面影响， 我担心改变的速度， 我担心智能体在网上到处乱点。

也许权衡利弊之后， 我还是不希望改变来临， 或者我希望改变来得慢一点， 或者我们能有选择性地改变、发展。

我认为，这种恐惧是完全合理的。

这种焦虑也是完全合理的。

我们其实都很焦虑。

但是…… 第一，改变的好处也很多。

显然，你每天都在用这些技术，很顺手。

第二…… 我相信社会将逐渐厘清—— 虽然在进程中会犯些重大错误—— 厘清如何正确使用科技。

第三，势在必行。

这就像当年发现 如今众所周知的基础物理， 新科技将成为我们世界的一部分。

我认为这种讨论非常重要， 讨论这些危险的领域非常重要。

新的经济模式非常重要。

但我们应保持谨慎 而不是恐惧的态度迎接它， 否则就会被善于利用 AI 的人超越。

CA ：你是安全方面 最侃侃而谈的倡导者之一。

你曾在参议院作证。

你说我们应该 成立一个新的安全机构 对相关工作进行许可监管。

也就是说，对某些工作会拒绝发放许可。

你还坚持这个政策提案吗？

SA：现在我对政府运作方式更了解了， 所以不再认为这是 很合理的政策提案。

CA：那什么是合理的政策提案呢？

SA：不过，我确实认为， 随着这些系统变得越来越先进 并产生一定规模的全球影响， 我们需要一些方法， 也许公司本身为此制定合适的框架 或正确的模式，但我们需要用某种方式 让非常先进的模型接受外部安全测试。

这样，当我们接近危险地带时， 我们就可以及时知道。

我仍然坚信这一点。

CA：我觉得很讽刺的是， 也许我们想要一个安全机构， 但机构才是最不安全的。

这里用词有点奇怪，但没关系了。

SA：我想再说一点。

我确实认为， 我们需要对模型进行严格的测试， 了解整个社会最想关注的威胁， 确保随着模型能力的增强， 我们有一个系统能让 公众了解什么技术正在被推出。

我认为这真的很重要。

我们已经接近推出 涉及公众利益的模型了。

CA：山姆，我之前问你 o1-pro 推理模型，它太棒了…… SA：谢谢你的 200 美元。

CA：（笑）一个月 200 美元。

太划算了。

我问它：我能问你的 最尖锐的问题是什么？

它思考了两分钟。

两分钟。

你想看看是什么问题吗？

SA：好啊。

CA：“山姆，你在帮助创造的技术 可能会重塑我们整个物种命运， 是谁赋予了你（或任何人） 这么做的道德权威？”

是谁赋予了你（或任何人） 这么做的道德权威？” （笑声） “如果你错了， 你该如何承担个人责任？”

“如果你错了， 你该如何承担个人责任？” SA：问题很不错。

CA：太厉害了。

SA ：在过去半小时里， 你一直在用不同方式问我这个问题。

不是吗？

（笑声和掌声） CA：我要说的是这个， 这是我对这个问题的问法。

SA：但是没有答案？

CA：你想问我什么问题？

SA：你会怎么回答这个问题？

CA：从你的角度？

SA：或者作为旁观者。

CA：我不知道。

我被你搞糊涂了。

我对你有点敬畏。

因为你打造了世界上最惊人的东西之一。

外界对你有两种说法。

第一种是你高瞻远瞩， 实现了不可能，惊世骇俗。

员工比谷歌少得多， 却做出了史无前例、极为强大的东西。

你们做的东西真是太棒了。

但另一种说法是， 你们改变了立场， 从 OpenAI （本意为“开放的 AI”）—— 这个开放的东西—— 变成了被诱惑去创造超强模型。

你们已经失去一些关键的员工。

外界有这种说法。

有些人认为在这个领域里不能信任你。

我想知道你到底是哪一种。

你如何描述自己？

山姆，你的核心价值观是什么， 它们能给全世界带来信心， 相信你配拥有如此大的权力吗？

SA：我和所有人一样， 也是一个复杂，多层次的人， 很难一言以蔽之。

也许有些好话是真的， 也许有些批评也是对的。

就 OpenAI 而言， 我们的目标是做出 AGI 并传播它， 保证它的安全性，以造福人类。

我们在这方面做了很多工作。

显然，随着时间的推移， 我们的策略发生了变化。

我们其实不知道在成长过程中 我们会发展成什么样。

我们认为不必让公司围着这一点转。

我们已经很了解会发生些什么， 这些系统会从资本中得到什么。

但我认为， 让很多人用上 功能强大、高度安全的 AI， 为他们提供工具 成就任何他们想做的了不起的事情， 你没法否认我们做得非常棒。

我确实认为我们应该更多地开源。

我认为，出于之前说到的各种原因， 由于我们不确定这些系统将产生什么影响， 如何确保它们的安全性， 所以我们采取预防措施是合理的。

你之前提的很多问题表明 至少有些人赞同我们的运作方式。

现在我认为整个世界 都有了更好的理解， 是时候把强大的开源系统推向世界了。

如果你明年再邀请我，你可能会对我吼叫， 不高兴有人滥用这些开源系统， 你会质问：“你们为什么要这么做？

你们不该回到开源。”

但是我们做的每一件事都有取舍。

在这场 AI 革命中， 我们只是一个参与者，一个立场， 努力尽我们所能 并以负责的方式 将这项技术推向世界。

我们肯定犯过错， 我们以后也一定会再犯错。

总的来说， 我认为在过去的近十年中—— 已经很久了—— 我们差不多已做完 打算做的事情。

前面还有很长的路要走。

未来我们的战略将发生更多的变化， 但我们会坚持这个使命和努力方向。

（掌声） CA ：你发了…… 这张《指环王》中的至尊魔戒， 你的对手—— 现在算不上你最好的朋友了—— 埃隆·马斯克说 你已经被至尊魔戒腐蚀了。

这个指控…… （笑声） SA：嗨，史蒂夫。

CA：老实说，这一指控也适用于埃隆。

但我很好奇，各位，你们…… SA：我可能会回应。我在思考。

SA：我可能会回应。我在思考。

我可能想说点什么。

（笑声） CA：每个人都在想， 我们看着科技公司 CEO 权力越来越大， 越来越有钱， 他们驾驭得了吗？ 还是太难以抗拒？

他们驾驭得了吗？ 还是太难以抗拒？

权力和财富有时会 让人无法做出正确的判断吗？

而你非得紧抓住那枚魔戒不放手？

你怎么看？

你会不会有时候 感觉到那个戒指的存在？

SA ：与其他 CEO 相比， 你觉得我的表现如何？

他们手握大权后， 改变了自己的行为处事。

你怎么看？

（掌声） CA：你有一个体面的…… 你不是一个粗鲁、愤怒的人， 不会咄咄逼人地指责他人。

SA：有时候我会这么做。

我就这么一个恶习。

（笑声） CA ：过谦了。其实我很欣赏 你的自我管理方式。

CA ：过谦了。其实我很欣赏 你的自我管理方式。

有些人会问，这是真实的你还是什么？

SA：不，我想听听反馈意见。

你提出“索伦至尊魔戒”什么的， 那我来听听你们的反馈。

你觉得由什么事可以看出 我被权力腐蚀了？

CA：我认为人们担心的是， OpenAI 转变成了营利性质， 有人就会说：“你看吧。

你被对财富的渴望腐蚀了。”

到了某一个节点 就没有任何公平可言了。

不过它会让你变得异常富有。

顺便，我个人认为这不是你的动机。

我觉得你想创造非常酷的东西。

我担心的是，看到别人这么做， 你心里会有竞争感， 就很难以合适的速度开发。

但是你告诉我， 如果你没有这么想…… 世界上很少有人 拥有你的能力和潜力， 我们不知道那是什么感觉。

是种什么样的感觉？

SA：其实，一如既往。

我认为你会逐步适应任何事情。

如果我从 10 年前穿越到现在， 一瞬间会让人摸不着头脑。

但一切都会成为新常态， 没有什么不同。

坐在这里谈论这个问题很奇怪， 但是，日复一日， 我说的是最好的情况， 就是每天都一样。

CA：你还是你。

SA：从很多角度来说，我肯定也变了， 但我自己并没感觉有什么不同。

CA：你发的这条很美，你的儿子。

你写的最后一句话是： “我从没感受过这样的爱，” 在座的各位父母都懂这种感觉， 这是抱着孩子的人类溢于言表的 生理情感，而 AI 永远不会有。

我想知道，这是否改变了 你对一些事情的看法， 比如说，有一个红色的盒子， 有一个装有红色按钮的黑盒子， 你可以按下那个按钮， 从而给你儿子一份最美妙的生活， 但也留下了 10% 毁掉他的可能性。

你会按下这个按钮吗？

SA：理论上不会。

如果问题是，我在工作中会不会这么做？

我的答案也是不会。

有孩子改变了很多事情。

这是发生在我身上最神奇的事情， 每个人说的感受都是真的。

我的联合创始人伊利亚（Ilya） 就曾说过这么一句话。

大意如此： “我不知道人生的意义是什么， 但一定和宝宝有关。”

但一定和宝宝有关。” 太对了。

它让我不愿再 在一些事上花太多时间， 与我孩子分离的代价太高了。

而我…… 我之前就很在意不能让世界毁灭。

我现在也很在意。

没有孩子我也会在意的。

（掌声） 我肯定会更多地考虑他的未来， 但我也感到有责任 为了全人类的未来尽我所能。

CA：特里斯·哈里斯（Tristan Harris） 本周在这里发表了非常有力的演讲， 他说，在他看来，关键问题是 你们和模型行业的同行都认为 先进 AI 的发展是不可避免的， 竞赛已经开始了， 你们别无选择， 只能努力赢得这场竞赛， 同时尽可能地保持负责心。

也许会出现一种局面， 你的超级智能 AI 能够遏制其他人的进程。

正因为每个人都认为 这些进程不可避免， 这种信念就会导致 重大风险和不稳定性。

你认为你们和同行 都觉得这是不可避免的吗？

你觉得有没有办法， 让我们可以达成共识， 放慢脚步， 让整个社会都参与讨论，表达 “我们不希望发展得这么快， 太颠覆了。“

太颠覆了。“ SA：首先， 我觉得人们一直都在放慢脚步， 因为技术还没有准备就绪， 因为有些东西不够安全， 因为有些东西用不了。

我认为，大家都在搁置、暂停、延缓， 不发布某些功能。

确实会有这样的情况。

这就是为什么我觉得 之前的记录很重要。

如果我们匆匆发布什么， 却出现了各种各样的问题， 要么产品不如人们的期待， 要么存在重大安全问题等等。

我之后再来谈谈我们的一个改变。

我们的大部分工作 都会有所交流，唯独一个例外。

我们所有的努力都很注重 AI 安全性。

我认为…… CA：例外是什么？

SA：我不会说的。

我们投入了很多心血去把它做好。

讽刺画简单把这描绘成疯狂的 竞赛或冲刺什么的， 其实忽略了我们想要快速推出模型， 为人们创造优质产品的其它层面。

但我们感到影响太大了…… 如果你去参加 OpenAI 或其他公司的会议，你会感受到， 哦，这些人真的很在乎啊 。

我们最近确实改变了 如何看待传统安全性的某一方面。

通过我们的新图像模型， 我们为用户提供了更大的自由度， 可以自由地控制 我们传统认为的言语危害。

如果你想让模型对你恶言相向， 模型会这么做吗？

以前我们有更严苛的防护措施。

但我认为模型对齐的一方面， 就是遵循用户的意愿， 只要不超出社会划定的广泛界限。

如果你要求模型画出大量暴力内容， 或者强化某种刻板印象， 那问题就是，它该不该这么做。

我们现在对此比较宽松。

当它开始与现实中的危害因素互动时， 我们必须弄清楚如何设定界线。

但也会有企业说，OK， 我们已经听到了社会的反馈。

人们不希望模型以他们认为 不合情理的方式审查他们。

这是一种公平的安全性的妥协。

CA：但鉴于这是一个群体共识的问题， 解决方法是让人们集中起来， 一起探讨，达成新的共识。

如果有一帮人，在世界某处， 愿意组织一场峰会， 邀请最优秀的伦理学家、技术专家， 不用太多人，小型峰会而已， 你和你的同行在此 尝试找到世界公认的安全界线，

你愿意参加吗？

你会呼吁你的同事参加吗？

SA：当然，但我对我们 数亿用户的共同需求更感兴趣。

我认为过往有很多事情 都是在小型精英峰会上决定的。

AI 最酷的一点是我们的 AI 可以和地球上的每个人对话， 我们可以了解每个人的诉求 汇集而成的价值偏好， 而不是由社会捧出的一小撮人 坐在一起，做出决定， 我觉得这很酷。

（掌声） 你们会看到 我们在这方面更多的努力。

当我们犯错时， 由于在场的精英对人们想要 怎样的图像生成防护措施各执己见， 而不在乎人们真正的诉求， 我们又无法直指现实世界的危害， 所以我们做出了改变。

我为此感到自豪。

（掌声） CA：历史证明，数亿人的共同行为 会导致意想不到的结果。

SA：100 个人坐在一起做决定也会。

CA：但数亿人无法控制…… 他们不一定知道下一步会导致什么。

SA：我希望…… 你说得对，完全正确…… 我希望 AI 能让我们 更明智，做出更好的决策， 可以和我们对话， 如果我们说，我想要 X， 与其让舆论七嘴八舌， 不如让 AI 说， 嘿，我完全知道你想要什么。

如果说到底，这就是你想要的， 那就由你自己决定。

但你有没有从这人的角度 考虑过这个问题 或者这件事会产生什么影响？

我认为 AI 可以让我们变得更明智， 做出比以前更好的共同治理决策。

CA：我们没时间了。

山姆，我想说最后一句。

考虑到所有因素，你觉得 你儿子长大后的世界会是什么样的？

SA：我记得…… 已经是很久以前了， 我不知道第一台 iPad 是什么时候问世的。

大概有 15 年了吧？

我记得当时在 YouTube 上 看到一个视频， 有个小朋友坐在候诊室， 那儿有一本杂志， 那种光面的老杂志。

小朋友把手放在杂志上， 做着触屏的动作，有点生气。

对那个小朋友来说， 杂志就象是坏掉的 iPad。

她/他想象不了 一个没有触摸屏的世界。

对每位看到这情景的成年人来说， 感觉太奇妙，太新鲜了，象个奇迹。

当然，杂志就是那时世界的常态。

希望我的孩子（们） 永远不会比 AI 更聪明。

他们成长的世界 一定有非常智慧、 强大的产品和服务。

他们成长的世界 一定有善解人意的计算机， 还能帮你做 你想象到的任何事情。

这将是一个物质相当丰富的世界， 一个变化速度很快、 新事物层出不穷的世界。

这个世界里，个体的…… 能力、影响力， 远超现在个体所能达到的。

我希望我的孩子、你们的孩子， 会带着怜悯和怀旧的心情回看我们， 想着：“他们过得也太苦了，啥也没有， 以前的世界太糟糕了。“

以前的世界太糟糕了。“ 我觉得这就挺棒的。

（掌声） CA：你创造的东西太厉害了。

太令人咋舌了。

我认为，在接下来的几年中， 你将面临有史以来一些最大的机遇、 最大的道德挑战和最重要的决定。

请记住，在座所有人都将 为你做出正确的选择加油助威。

SA：我们会尽力的，非常感谢。

CA：感谢你来到 TED。

（掌声） 谢谢。

SA：非常感谢。