AI 海啸已至，社会还未做好准备（Anthropic CEO）

大家 好 , 我 想 从 一个 细节 开始 说 达里奥 阿姆 戴奥斯瑞 皮克 创始人 现在 呢 掌管 着 一家 估值 接近 4000 亿美元 的 公司 他 的 AI 产品 正在 全球 范围 内以 惊人 的 速度 增长 但 如果 你 问 他 , 他 这辈子 最初 想 做 的 是 什么 他会 告诉 你 , 当 一个 教授 如果 我 变成 了 教授 , 我会 做到

那种 事 但是 , 我 说 过 , 我会 在 AI And to work in AI required a lot of computational resources, and that was mostly happening in industry. So that took me off the academic path and into industry. And of course, ultimately through several steps led me to start a company.

into industry. And of course, ultimately through several steps led me to start a company.

But sometimes I think I'm still like a professor at heart. At this point, Dario, if AI is the most relevant thing in the world, if the world is realigning in a way and AI is determining who gets what and who doesn't get what I'm talking about industries. You today are

probably the most relevant person in the world. If anthropic

in this last cycle, in this minute is sitting on top of this pie. For

somebody who was going on the path of being a teacher to have arrived to where you are today, are you best equipped for where you are today? Well, I

mean, first I would say a couple of things. I think there's a lot of folks who are relevant in different ways, right? Even within industry, there's the different layers of the stack. There's like the folks who make chips. There's the folks even earlier who make semiconductor manufacturing equipment. There's the folks who make models like us. And then

there are other players who make models. There's the folks who make kind of applications after the models. You know, and then there's a bunch of other folks who have a say. There's, you know, governments, there's like civil society. So, you know, my hope,

a say. There's, you know, governments, there's like civil society. So, you know, my hope, you know, isn't that there's, you know, just one tiny set of people that's relevant.

I think we're trying to broaden the set of people who are relevant and, you know, turn it into a broader conversation. But, you know, I think at the same time, your question is a fair one. And one way I could interpret it is like, you know, there's, there's a certain randomness to how, you know, kind of, you know, a few people, you know, end up leading these, you know, leading these companies

that kind of, you know, grow so fast. And it seems like, you know, in the near future will power so much of the economy. And, you know, I've said openly, publicly, not for the first time that I'm at least somewhat uncomfortable with the amount of concentration of power that's happening here. I would say almost overnight, almost by accident. And, you know,

accident. And, you know, 这 非常 的 有 讽刺 感 因为 教授 这个 职业 恰恰 是 AI 最有 可能 彻底 重塑

的 职业 之一 知识 的 传递 概念 的 解释 深度 的 分析 这些 曾经 只有 教授 才能 做 的 事情 他们 自己 公司 的 这个 cloud 就 已经 能够 做 得 很 好 , 而 让 Cloud 变成 这个 样子 的 人 , 正是 达里奥 本人 他 在 亲手 终结 他 最 爱 的 那种 世界 , 或者说 他 在 亲手 创造 一个 新 的 世界 在 这个 新 的 世界 里面 , 他 当初

想 成为 的 那种 人 将 会 变得 非常 的 不 一样 很多 科技 创始人 谈论 AI 改变 世界 , 说 的 时候 眼睛 是 发着 光 的 啊 带 着 那种 典型 的 硅谷 乐观主义 , 一切 都 会 变好 技术 会 解决 所有 的 问题 达里奥 不是 这样 的 人 他 在 采访 里面 被 问到 AI 最终 会 不会 在 几乎 所有 事情 上 都 超过 人类 包括 体力劳动 艺术创作 全部 都

超过 他 的 回答 是 这 是 可能 的 甚至 是 大 概率 的 with google for exampleit already has the context to my lifebecausei use their worksheetsand their emailand their driveand their chatand everything like thatfor anthropic long termwill you also have to own the ecosystem

Yeah, I mean, you know, you have to build meal and chat. Yeah, yeah. You

know, I don't think we need to build all those things. You know, it, you know, my, my thought would be, you know, we're gonna, it's gonna be a mixture of things we make ourselves and integrating into others, right? Like, you know, we can, we can integrate Claude into Google Docs, we can integrate Claude into, into, you know, Google Sheets, like, you know, we have, external connectors there. We can, you know, we're

starting to do that with co-work, you know, same for Microsoft Office, same for other tools. So, you know, I think we do whatever is easiest and

tools. So, you know, I think we do whatever is easiest and fastest to do. We integrate into the existing tools. Now it might turn out at some point that the existing tools aren't enough and we have kind of a different vision. We might want to slice things differently. Maybe traditional email doesn't make sense

vision. We might want to slice things differently. Maybe traditional email doesn't make sense or traditional spreadsheets don't make sense given what you can do in AI. So I

don't exclude that we could chop up products in a different way. But we're happy to use the ecosystem that exists and work with anyone else. In many ways, We're a platform company, we allow many people to build on us, even though we sometimes also build things ourselves. The one thing, this is a slight digression, but

I think the one thing that you're missing that also your peer group is missing is in society today, people inherently distrust anybody who claims to be doing good or trying to do the right thing.

So when you and your peers are out saying, I heard you and Demis speak at Davos. I was in the room when you guys were talking about how me, you, I don't mean me, how Dario, how Demis and a bunch of other people have to come together and prevent things from changing too quickly. Like you need to like meter it to a certain extent.

When a person who is not in your world, in society, on social media, hears a few people speak in a certain manner, you're doing it in the manner that creates more distrust than trust because nobody believes on social media that somebody wants to do the right thing or do good.

So it might be counterintuitive, but I think it needs a change of strategy. if

you were to be more capitalistic about this and own up to the fact that you have shareholders and you seek a profit, but this will help you win, maybe it'll work more. Just a thought. Yeah, I don't know. I don't really agree with that. I would again go back to the idea that

that. I would again go back to the idea that you need to judge us by the actions that we take. I think the company has taken a number of actions over its time that I think show that it's really serious about these commitments. So

back in 2022, we had an early version of Claude, Claude I. This was

before ChatGPT. And we chose not to release this because we were worried that it would kick off an arms race and not give us enough time to build these systems safely, right? It was kind of a one-time overhang. Like, we could see the power of the models. A couple other companies could see the power of the models. And so we didn't, you know, we decided not to do that. And that's

models. And so we didn't, you know, we decided not to do that. And that's

public, that's well documented. And, you know, and then we waited until someone else did.

And then we're like, okay, the arms race has kicked off. So, you know, now we can release our model, but probably the world gained a few months. Now, that

was very commercially expensive. We probably, you know, seeded the lead on, you know, consumer AI because of that. You know, we've, you know, advocated on chip policy in ways that have made some of the chip companies who are suppliers very angry at us, you know, voicing our disagreement with the administration on, you know, AI

policy and AI regulation on some matters. You know, anyone who thinks we benefit from being the only ones to do that. You know, it's really hard to come up with a, it's really hard to come up with a picture where that's the case. You look at any one of these and okay, fine, but you know, you

case. You look at any one of these and okay, fine, but you know, you put enough of them together and you know, I don't know, I just, I ask you to judge us by our actions. Daryu, isn't this a bit like rich people saying capitalism is bad? Rich people saying capitalism is bad. If rich people believed

capitalism were truly bad or the income inequality is such a big problem, the simplest thing would be to do, the simplest thing to do would be to stop accumulating wealth, further wealth, and then nudge their friends to do the same. But I'm not saying AI is bad, right? We just talked about, you know, this two sides of

it. My view isn't that AI is bad. That's not my view at all.

it. My view isn't that AI is bad. That's not my view at all.

My view is that the market will deliver a lot of really great things about AI, that it's good to build AI, but that there are dangers of AI and that we need to steer AI in the right direction. We're

steering this car, we're steering it towards a good place, but also there are trees, There are potholes. And so what we need to do is we need to steer away from the trees and the potholes. We might need to occasionally slow down a bit, probably temporarily, you know, in order to make sure that we steer in the right direction. You know, that isn't

like, you know, the analogy wouldn't be a rich person saying capitalism is bad. It

would be like if a rich person said capitalism is a force for good, But the economy, it needs to be leavened. It needs to be moderated, right? You know,

we need to deal with problems like pollution. We need to deal with problems like inequality. And then capitalism can be good. If we don't deal with those things, then

inequality. And then capitalism can be good. If we don't deal with those things, then capitalism might be bad. And so that is more analogous to the position that I have here. The concept of consciousness.

have here. The concept of consciousness.

他 说 的 是 大 概率 他 没有 说 也许 吧 或者说 这个 问题 太 复杂 了 我 没 办法 回答 他 非常 平静 的 告诉 你 这件 事情 很 有 可能 会 发生 而 他 正在 做 的 事情 就是 让 这件 事情 更快 的 发生 他 说 这件 事情 啊 不管怎样 都 会 发生 AI 的 发展 不会 因为 某 一个 人 停下来 而 停下来 如果 他 不 做 的话 别人 也 会

做 而 如果 是 那些 不在意 风险 的 人来 做 这件 事情 结果 可能 会 更糟 这个 叙事 我们 听过 非常 多次 啊 所以 他 选择 做 那个 在意 风险 的 人 这个 逻辑 把 所有 的 不 作为 都 变成 了 错误 你 要么 参与 并 试图 影响 方向 要么 退出 并 失去 影响力 他 在 采访 中说

了 一件 事情 证明 了 他 的 观点 2022 年 Challenge GPT 出现 之前 Authrape 已经 有 一个 早期 的 版本 Cloud 这个 版本 已经 相当 的 强大 按照 正常 的 商业 逻辑 你 应该 立刻 发布 抢占市场 建立 用户 的 基础 让 竞争对手 措手不及 但 他们 没有 发布 原因 不是 技术 不 成熟 不是 产品 不够 好 而是

达里奥 和 他 的 团队 担心 如果 他们 现在 就 发布会 触发 整个 AI 行业 的 军备竞赛 所有 的 公司 都 会 疯狂 的 加速 没有 人会 有 时间 和 意愿 去 认真对待 这些 安全 问题 所以 他们 选择 等待 这个 等待 是 有 代价 的 , 达里奥 自己 承认 那个 几个 月 的 等待 让 他们 失去 了 消费者 AI 市场 的 先机 Challengebt 在 那 之后 发布 , 一夜之间 改变 了 整个 行业

的 格局 OpenAI 从 那一刻 开始 , 在 普通用户 的 心智 中 占据 了 主导 的 地位 这个 差距 到 今天 都 没有 完全 弥合 用 商业 语言 翻译 就是 他们 为了 等待 损失 的 可能 价值 几百亿 上 千亿美元 的 市场 的 先机 然后 军备竞赛 还是 开始 了 Chair GPT 出来 之后 , 达里奥 意识 到 他们 要 争取 的 缓冲 时间 已经 不 存在 了 这个 局面 已经 不可避免 于是 他们 开始 发布

Cloud 他们 在 知道 这件 事情 可能 还是 会 发生 的 情况 下 依然 选择 了 付出 真实 的 商业 代价 去 试图 为 世界 多 争取 一点点 调整 的 时间 这 不是 表演 啊 这 是 以前 发生 的 是 实际 发生 过有 商业 损失 作为 背书 的 决定 这件 事情 让 我 觉得 达里奥 他 不是 那种 嘴上 说 着 安全 行动 上 全力 冲刺 的 那种 人 他 在 某些 关键 的

时刻 真的 愿意 为 他 的 判断 付出代价 但 这 也 带来 了 另 一个 更深 的 问题 采访 里面 这个 场景 让 我 印象 非常 深 主持人 问 达里奥 他 说 你 和 你 的 同行 都 出来 讲 这些 负责 任 的 AI 讲 什么 安全 , 讲 这个 慢下来 但 现在 的 社会 根本 不 相信 这 一套 不管 你 说 什么 , 人们 只会 觉得 你 是 在 用 道德 的

外衣 来 包装 这个 商业利益 也许 呢 , 你 应该 换 一种 策略 , 干脆 承认 你 就是 想 赚钱 这样 反而 更 有 说服力 这个 说法 可以 说 是 挑战 了 他 的 这个 道德 底线 这是 一个 很 直接 的 挑战 也 是 一个 很多 人会 在 心里 面问 的 一个 问题 达里奥 拒绝 了 这个 建议 , 他 说 请 用 我们 的 行动 来 评判 我们 不要 只 看 我们 说

什么 他们 列举 了 这些 他们 做过 的 有 成本 的 决定 2022 年 的 等待 在 芯片 政策 上 得罪 了 供应商 在 某些 监管 的 议题 上 公开 和 政府 唱反调 就 最近 还 和 五角大楼 有 一个 纠纷 啊 好像 是 啊 但 我 觉得 这个 回应 虽然 很 诚实 但是 却 没有 真正 解决 那个 质疑 的 核心 这个 质疑 的 核心 是 什么 呢 就是 一种 感觉 一个 人 越是

大声 说 自己 在 做好事 啊 人们 就 会 越 觉得 他们 要 遮遮掩掩 掩 掩盖 什么 东西 这 不是 不 理性 这是 现代 社会 对于 公共 表演 的 一种 正常 的 免疫 反应 我们 见过 太多 打着 道德 旗号 干 商业 勾当 的 例子 所以 我们 默认 的 假设 就是 凡是 主动 强调 自己 道德 的 人 都 有

动机 这么 做 而 这个 动机 本身 就 值得 怀疑 达里奥 陷入 一个 几乎 无解 的 困境 如果 他 什么 都 不 说 人们 会 说 他 不在乎 安全 闷头 赚钱 不管 这个 安全 如果 他 大声 说 自己 在乎 安全 人们 会 说 他 在 表演 他 做 了 那些 有 代价 的 决定 但是 这个 决定 本身 也 可以 被 解读 为 这 是 一种 长期 的 公关 的 投资 用 短期 的

损失 来 换取 长期 的 信任 红利 最终 还是 为了 商业利益 服务 你 没有 办法 用 行动 来 彻底 证明 动机 的 纯粹 因为 任何 行动 都 可以 被 解读 成有 动机 的 这 不是 达里奥 一个 人 的 困境 这是 任何 一个 试图 在 权力 和 利益 的 巨大 漩涡 中 保持 道德 坐标 的 人会 遇到 的 问题 会 遇到 困境 但是 我 觉得 他 选择 的 方式 就是 继续 做 继续 说

接受 被 怀疑 也许 啊 就是 在 这种 困境 里面 能 做 出来 的 最 诚实 的 选择 不是 最 聪明 的 不是 最 能够 赢得 舆论 的 但是 是 最 诚实 的 所有人 都 想 知道 一个 问题 就是 工作 怎么办 It just comes down to humans, right? All of this is supposed to be being done for the benefit of humans. So there's always gonna be some human-centric

element of this that's gonna be important. And I suspect there will be other motes that we haven't thought about. So there's this concept called Amdahl's law, which is if you have a process that has many components and you speed up some of the components, the components that haven't yet been sped up become the limiting factor. They become

the most important thing. And you might not have thought about them at all, right?

You might not have thought of them as moats or important components, but when writing software becomes a lot easier, some of the moats that companies have will go away, but others will become even more important. So there'll be a bunch of adjustment. Folks will have to say, oh man, the stuff we thought was really important before isn't as important. Whereas these other advantages that we never really thought

of as advantages are now super important. So I guess what I would say is, you know, companies will need to adapt very fast and think about what really matters for them, what their real advantages are. But I think some of those advantages are gonna stay around because, you know, while the technology is very broad, it does have its limits. I don't know if I buy that fully. I think I see

the diminishing returns for being a service provider, even if the moat is the network and relationships they hold today, because if I am using open clause and over some of my relationships in the conversations, I don't know if it's too far-fetched to assume that most conversations tomorrow and relationships will be

maintained by an agent like that. But, you know, if you just think of the chain of companies, right? At the end of the day, you're dealing with consumers, right?

Like at the end of the day, you have to deal with people. You know,

there's this story of like, you know, I think it was Jeff Hinton predicted, you know, that AI will replace radiologists. And indeed, AI has gotten better than radiologists at doing scans, right? But what happens today is there aren't less radiologists. What the radiologist does is they walk the patient through the scan and they

radiologists. What the radiologist does is they walk the patient through the scan and they kind of talk to the patient. So the most highly technical part of the job has gone away, but somehow there's still some demand for like the kind of underlying human skill. Now, that may not be true everywhere. And, you know, perhaps over time,

human skill. Now, that may not be true everywhere. And, you know, perhaps over time, AI will advance in, you know, areas where it hasn't yet advanced. And, you know, maybe that'll happen fast. But, you know, I think what I will say is, like, you know, we should take it one step at a time, right? This is a very empirical science. This is a very empirical observation. Let's see

what AI does, you know, today. And, like, We'll kind of try and adapt to, you know, kind of try and adapt to that. The kind of system starts to figure it out and then we'll see what happens next. You know, I do think, you know, in the long run, will AI be better than us at basically

everything? Will it be better than most humans, you know, including even the physical world

everything? Will it be better than most humans, you know, including even the physical world and robotics and the human touch? Yeah, you know, I think that is, you know, I think that is, you know, possible. 达

尼奥 在 访谈 里面

谈到 了 一个 我 觉得很有 价值 的 思考 框架 他 提到 了 阿姆 达尔 定律 这个 定律 来自 于 计算机科学 他 说 的 是 当 你 提升 一个 复杂 系统 中 某些 组件 的 效率 的 时候 那些 没有 被 提升 的 组件 反而 成为 整个 系统 的 瓶颈 并 因此 变得 更加 重要 用 最 简单 的话 说 就是 你 把 某件事 情做 的 越 快 另 一些 事情 相对 变得

越慢 越 稀缺 越有 价值 他举 了 这个 放射科 医生 的 例子 这个 例子 很多 人 都 喜欢 举 AI 现在 读 这个 医学影像 已经 比 大多数 人类 放射科 医生 做 的 更 准确 更 快速 按照 经济学 的 逻辑 当 一种 劳动 可以 被 更 便宜 的 替代物 完全 取代 的 时候 这种 劳动 的 市场 价值 应该 归零

从事 这种 劳动 的 人 应该 失业 但是 现实 中 放射科 医生 并 没有 大规模 失业 他们 在 做 的 事情 变 了 读 这个 放射科 的 这个 照片 这件 事情 技术 底层 的 判断 慢慢 交给 了 AI 但是 放射科 医生 开始 花 更 多 的 时间 做 另外 一件 事情 就是 坐在 这个 病人 的 面前 解释 那段

片子 意味着 什么 回应 病人 的 恐惧 帮助 病人 理解 接下来 要 面对 什么 在 一个 充满 不确定性 的 时刻 给 另 一个 人 一点点 的 确定 感 这件 事情 AI 目前 我 是 说 目前 还 做 不好 这件 事情 AI 目前 还 做 不好 注意 这里 是 说 目前 还 做 不好 更 重要 的 是 , 这件 事情 之所以 有 价值 , 不是 因为 它 需要 某种 AI 无法 习得 的

神秘 的 技能 而是 因为 人们 在 脆弱 的 时候 需要 的 是 另 一个 人 的 在场 这是 一种 关于 存在 本身 的 需求 , 是 要 有 一个 人 存在 而 不是 一个 AI 在 回答 你 这个 问题 这 不 只是 一种 功能性 的 需求 , 这是 人性 的 需求 当然 , 达里奥 也 没有 把 这个 例子 包装 成 一个 万能 的 安慰剂 他 承认 , 这 不 一定 到处 都

适用 , 随着 AI 的 进化 很多 今天 看起来 只有 人才 能 做 的 事情 呢 明天 可能 就 不是 了 他 说 的 是 我们 要 一步 一步 的 看 实证 的 看 不要 提前 下结论 但 也 不要 自我 欺骗 这种 态度 我 觉得 比 AI 不会 替代 人 和 AI 会 替代 所有人 都 要 更 诚实 因为 真相 可能 是 AI 会 替代 很多 人 在 很多 的 领域 以 超出

我们 的 预期 的 速度 但 同时 人类 的 需求 和 存在 本身 会 创造 出新 的 空间 只是 这个 空间 这个 形状 , 这个 空间 是 什么 , 这个 职业 是 什么 , 这个 需求 是 什么 我们 现在 没有 人能 看清楚 没有 人 能够 预测 所有 未来 的 事情 在 那个 新 的 空间 清晰 之前 有 很长 一段时间 很多 人会 站 在 一片 废墟 上 , 不 知道 该往 哪里 走 达里奥

对 这个 过渡期 的 代价 没有 轻描淡写 但 他 也 没有 给出 一个 清晰 的 解决方案 因为 他 知道 没有 解决方案 最后 我 想 聊 一个 大多数 人 觉得 很 遥远 但是 达里奥 显然 在 认真对待 的 问题 就是 AI 的 意识 他 在 访谈 里面 说 意识 这个 问题 很 可能 是 一种 涌现 属性 当 一个 系统 复杂 到 某个 程度 当 他 开始 能够 反思 自己 的 决定 感知 自己 的 存在

注意 到 自己 在 注意 某 一件 事情 的 时候 某种意义 上 意识 就 可能 开始 出现 了 他 认为 随着 AI 系统 变得 越来越 复杂 他们 在 某 一个 时间 点 很 可能 会 发展 出 某种 类似 于 意识 的 东西 他 说 我 真的 不 确定 我们 现在 的 这个 cloud 有没有 意识 但 我 认为 未来 某 一刻 他会 有意识 这个 表态 意味着 达里奥 不是 在 建造 一个 工具 他 可能

是 在 创造 一种 新 的 存在 形式 而 这个 可能性 让 整件 事情 的 道德 重量 变得 更重 Austravic 有 一个 在 整个 AI 行业 里面 显得 异类 的 研究 方向 他们 称之为 模型 福祉 他们 在 研究 他们 的 AI 系统 是否 有 某种 存在 内在 的 一个 体验 是否 有 某种 类似 情感 的 状态 以及

如果 有 情感 的 状态 这 意味着 什么 我们 应该 怎么样 对待 它 这件 事 在 很多 同行 来看 是 浪费资源 是 在 给 自己 的 产品 赋予 他 并 不 拥有 的 神圣 性 但 达里奥 坚持 做 这个 研究 我 觉得 这件 事情 和 他 想 当 这个 教授 的 这个 愿望 是 某种 类 在 的 连接 教授 大学教授 或者说 是 小学老师 吧 无论是 哪 一个 教授 这个 教师 这个

职业 的 核心 不是 拥有 知识 而是 对 知识 的 探索 本身 保持 尊重 保持 谦逊 承认 自己 不 知道 的 要 比 知道 的 多 达里奥 在 面对 AI 意识 这个 问题 的 时候 用 的 是 同样 的 态度 我 不 知道 但是 我 不能 假装 这个 问题 不 存在 不能 因为 答案 不 确定 就 拒绝 去 认真 的 对待 他 回到 最 开始 的 问题 那个 曾经 想当 教授 的 人

准备 好 迎接 这 一切 吗 他 知道 他 在 做 的 事情 有 巨大 的 破坏力 他 知道 很多 工作 会 消失 很多 人 的 生活 轨迹 会 被 改变 很多 我们 习以为常 的 秩序 将会 被 颠覆 他 没有 否认 这 一些 巴里奥 是 处在 这个 正在 改变 世界 的 漩涡 的 中心 而且 他 清醒 的 认识 到 漩涡 的 破坏力 同时 又 是 让 这个 漩涡 存在 的 那个 人 还

在 加速 这个 漩涡 的 人 他 没有 办法 是 清白 的 但 他 选择 利用 他 能 做 的 事情 来 尽量 让 这件 事情 的 结局 比 他 本来 可能 的 结局 好 那么 一点 至于 他 到底 做到 了 没有 这个 问题 我 认为 需要 时间 才 能够 回答 看 更 多 内容 抢先 观看 点击 下发 链接 加入 频道