硅谷坐标 x 田渊栋: 解析大模型护城河、记忆存储瓶颈与Agent对社会冲击

Hello ! 矽谷 里面 应该 说 很 难 有 一个 秘密 能 保留 很 久 可能 一个 新 的 方案 弄出来 之后 过 了 一 两三个 月 大家 可能 都 知道 一点 了 在 你 的 愿景 里面 未来 有 一个 能够 持续 学习 的 AGI 它 是 一个 脑 容量 在 不断扩大 的 还是 一个 脑 容量 固定 但是 会 持续 地 做 记忆 的 升华 和 主动 遗忘 的 我 觉得 应该 是

后者 当然 是 扩大 让 它 更好 我覺 得以 後 大內 存應 該 是 一個 很大 的 一個 趨勢 因為 有 這樣 的 一個 需求 老黃 也好 AMD 他們 也好 導演 通常 要 把 內存 變得 太大 那 最 後 就 會導致 村楚會 有 這樣 的 壓力 我 覺得 這個 是 AI Lab 競爭 的 需求 推理 過程 不 一定 是 人類 語言 可以 是 一個 抽象 語言 可能 是 用 某種 開會 相關 來

表示 的 讓 這個 推理 變得 更 有效率 更快 的 速度 把 導演 推理 找到 出來 最後問 你 的 一個 問題 你 下 一站 去 哪裡 非常感谢 今天 有幸 被 Silicon Vialing Vector 的 同学 同学 们 邀请 过来 做 一个 访谈 我 是 田明 洞 , 以前 在 Meta 做 研究 总监

主要 是 做 强调 学习 , 搜索 优化 还有 大 模型 的 一些 推理 和 应用 在 Meta 已经 快 11 年 了 现在 是 出来 自己 开 公司 创业 圆董 今天 欢迎 你 来到 硅谷 坐标 跟 大家 分享 一下 你 在 AI 前沿 看到 了 一些 最新 的 动向 我们 看到 2026 年 才 过 两个 月 其实

在 模型 的 这个 赛道 里 竞争 非常 非常 的 激烈 我们 看到 不管 是 开源 模型 还是 必源 模型 都 发布 了 最新 的 版本 你 是 怎么 看待 现在 各家 模型 之间 你追我赶 的 这样 的 局面 似乎 这样 的 这种 领先 的 优势 很快 就 能会 被 追上来 我 觉得 这个 是 一个 非常 普遍 的 现象 应该 说 从 大 模型 开始 爆发 以来 2022 年 年底 以来 就是 这样 的

一个 趋势 正在 慢慢 地 加剧 中 而且 在技术上 来说 其实 我们 有振流 这样 的 一个 技术 所以 你 总是 说 一个 不是 特别 好 的 模型 你 可以 通过 振流 更强 模型 的 输出 会 很快 达到 更强 模型 的 水平 所以 这种 趋势 应该 说 是 不可避免 的 随着 以后 更 多 的 人 掌握 了 这些 技术 掌握 了 流程 应该 会 有 更 快 的 迭代 速度 现在 确实 已经 非常

快 了 可能 已经 快 接近 人类 胜利 极限 了 所以 我 觉得 至于 这些 AI Lab 他们 只 说 保持 领先 优势 这个 完全 要 取决于 每个 AI Lab 它 的 定位 和 方向 对 吧 有些 AI Lab 比如说 他们 背后 是 大 公司 那么 对 他们 来说 信心 流是 不愁 的 不说 猩猩 罗 的话 对 他们 对 A - Live 来说 他们 目的 是 向 大家 昭示 这个 公司 本身 的

技术实力 和 非常 强 的 人才 储备 不停 的 发布 各种各样 更新 的 模型 和 更新 的 结果 能够 让 大家 知道 这个 公司 仍然 处在 人工智能 的 顶尖 或者说 低 梯队 的 这样 的 一个 情况 比如 像 我 觉得 谷歌 其实 是 一个 很 好 的 例子 他们 通过 发布 各种各样 的 模型 和 不同 的 结果 可以 让 大家 知道 确实 谷歌 应该 是 在 这方面 是 非常 领先 的

像 他们 最近 是 有 一个 就是 用 Gemini 来 做 很多 的 比较 难 的 数学 问题 那么 就 发现 就是说 用 他们 最新版 的 Gemini 3.1 Pro 他们 能够 找到 一些 很 好 的 数学 问题 的 解析 這些 問題 可能 以前 是 未解 問題 但後來 發現 通過 大 模型 的 搜索 和 探索 才能 找到 一些 很 好 的 證明 這樣 的 話 大家 會覺 得 Google 仍然 領先 它 仍然 是

在 大 模型 的 競材 中 佔 據 第一 梯隊 我 覺得 這個 是 一個 很 好 的 策略 還有 一些 公司 像 初刊 公司 的 話 他們 這種 你 追誤 感是 一個 他們 本身 是 需要 證明 自己 是 很強 的 另外 呢 就是 說 通過 這個 方式 可以 獲得 更 多 融資 獲得 更 多 人 的 認可然後會 有 下 一輪 的 一些 資金 的 注入 然後讓 這個 AI Lab 讓 這個 出廊

公司 能繼續 活下去 我覺 得 這個 其實 是 兩種 不同 的 策略 但是 我覺 得 也許 就是 以后 总有一天 就是 出售 公司 如果 钱烧 完 的话 呢 是 需要 在 钱 烧 完 之前 它 是 应该 是 需要 找到 一个 商业模式 让 它 能够 能够 活 下来 像 OpenAI 现在 其实 也 在 考虑 如何 在

XGP 中 做广告 对 吧 他 把 广告 插入 那个 XGP 的 对话 中 或者说 把 它 放在 旁边 的 那个 栏 里面 然后 能够 让 大家 看到 就是 一些 相关 的 一些 广告 信息 啊 一些 一些 知识 那么 这样的话 呢 通过 这 方式 还 可以 找到 自己 的 限期 楼 的 一个 输入 那么 可以 让 自己 可以 长有 的 活下去 我 觉得 这个 应该 说 是 对于 大厂 和 对于 出售 公司

来说 都 是 必不可少 的 一定 要 证明 就是 自己 的 模型 是 非常 强 的 所以 我 相信 在 不久 的 将来 这样 的 趋势 还会 继续 发展 下去 在你看来 AI Lab 真正 可 持续 的 护城河 是 什么 是 算力 和 infra 还是 数据 还是 算法 还是 人才 在 未来 的 三到 五年 如果 要 你 给 这 四个 维度 去 排 一个 序 的话 你 会 怎么样 去 排 我 觉得 最

重要 的 应该 是 数据 倒 不是 可能 数据 和 infra 是 一个 是 比较 重要 但是 infra 应该 是 慢慢 慢慢 也 会 有 一些 变化 因为 现在 用 AI 写 代码 的 趋势 越来越 厉害 以 我 自己 来说 我会 觉得 比如说 三个 月 前 相比 它 的 我 这个 效率 应该 说 提高 了 至少 十倍 它 也 是 这样 的 一个 逻辑 所以 我 觉得 以后 可能 会 更 多 更

多 越来越 多 的 人 开始 用 AI 代码 AI 写 代码 这个 方式 来 构建 自己 的 系统 来 做 自己 的 一些 差错 呀 或者说 能 让 运行 跑 得 非常 顺畅 啊 就 这些 比较 日常 的 工作 可能 会 让 AI 来 代替 那么 如果 是 这样的话 呢 Infra 这个 护城河 可能 会 有 一些 下降 这个 是 我 的 一些 想法 但是 数据 本身 可能 还是 比较 难 的

数据 应该 是 很 重要 特别 是 对 一些 比较 难 的 一些 垂直 领域 或者说 这个 领域 上 数据 非常少 的话 那么 你 没 办法 用 很少 的 数据 准备 出 很 好 的 模型 所以 数据 还是 一个 比较 重要 的 一个 因素 那么 至于 那个 算法 呢 本身 呢 就是说 目前 看起来 算法 还是 改动 不是 特别 大有 很多 的 方法 其实 就 在 原来 的 算法 上 你 做 一个 小学

小 补 能够 做 出来 一些 比较 fancy 的 修改 可能 不 一定 有 用处 可能 会 这样 像 DeepSeek 可能 在 一个月 前 发布 了 一篇 文章 就是 Emma 就是 做 一个 对 残差 连接 做 一些 魔改 觉得 非常 有意思 但是 后来 大家 可能 我 看到 有些 人 发现 有些 算法 它 可以 改 得 非常简单

跟 原来 差不多 但 效果 还是 可以 的 所以 其实 就是说 在 这个 算法 上 的 一些 修改 不 一定 会 导致 完全 不 一样 的 结果 就 目前 算法 是 现在 处于 一个 比较稳定 的 状态 所以 这个 是 一个 很大 的 一个 瓶颈 吧 我 相信 就是 现在 可能 处于 这个 状态 就是 要 不 大家 改来改去 改不 什么 东西 来 要 不 就是 完全 不 一样 的 一个 新 的

方案 这个 方案 能够 把 原来 的 东西 垫 覆掉 所以 我们 现在 处于 这样 的 一个 状态 但 这个 跳变 是从 什么 时候 发生 现在 应该 说 还 不 太 清楚 就是 我 也 希望 就是 这样 跳变 能够 发生 这样的话 我们 可以 到 下一代 的 模型 但 如果 假設 這個 條片 不 發生 的 話現 在 可能 算法

就是 目前 沒有 數據 和 influor 重要 是 這樣子 另外 一方面 就是 人類 文會 流動 的 你 會 發現 各大 research lab 他們 人 和 人 之間 會 有 很多 的 變化 兩個 月 前 大佬 在 這個 地方 然後過 兩個 月 跑 到 地方 去 了 通過 這個 類文流動 就 有 很多 的 新 的 想法 和 一些 新 的 思路 會 從 一個 地方 流 到 地方 回 地方 所以 就是 說 硅谷

裡面 應該 說 很 難 有 一個 秘密 能 保留 很 久 可能 一个 新 的 方案 弄出来 之后 过 了 一两个 月 两三个 月 大家 可能 都 知道 一点 了 可能 就 大家 都 传开 了 就 知道 怎么 做 了 所以 应该 说 这个 算法 和 人才 应该 说 没有 那么 重要 于 就是 数据 和 那个 infra 大概 是 这样 的 一个 逻辑 那么 这 一算力 本身 也 是 一个 很大

的 一个 瓶颈 对 那么 算力 我 觉得 主要 是 大厂 和 出场 公司 之间 的 区别 但 大厂 大厂 之间 可能 算力 可能 相对来说 都 不是 差 特别 多有 很大 的 那个 算力 的 那个 配额 给 那些 AI lab 是 这 样子 的 在 你 想象 的 这个 中 局 比如说 你 觉得 会 是 一家 或者

是 几家 这种 大墨金 独大 然后 再 加上 几个 比如说 垂直 领域 比较 数据 比较 独特 的 这样 的 比较 小 的 一家 公司 你 想象 未来 是 这样 吗 对 我 觉得 有 可能 是 这 样子 的 还有 一个 问题 就是 今年 这个 开源 模型 在 网上 有 很多 的 讨论 包括 还有 一些 争议 你 是 怎么 看待 这个 开源 模型 的 发展 呢 我 觉得

开源 模型 呢 一个 是 它 是 一个 非常 重要 的 一个 方向 我 觉得 地球 上 不 可能 只有 必源 模型 如果 只有 必源 模型 的话 呢 其实 会 导致 一个 非常 糟糕 的 将来 这个 我 可能 在 2023 年 的 时候 其实 也 就 有 这个 想法 就是说 我们 这 模型 一定 要是 开源 的 至少 会 有 开源 的 一席之地 这是 非常 重要 的 为什么 呢 我 觉得 对于 一个 指数

增长 的 技术 来说 最大 的 可能 的 一个 结果 最坏 的 结果 是 少数 人 掌握 了 这个 技术 然后 大多数 人 不 知道 那么 少数 人用 这个 技术 去 做 一些 不太好 的 事情 如果 是 这样的话 首先 地球 上 大部分 人 可能 获得 不了 技术 的 达到 便利 然后 还会 产生 一个 很大 的 等级 区分 所以 这个 是 一个 应该 说 开源

的 模型 要 避免 的 事情 有 开源 模型 之后 其实 大家 都 变得 平全 了 大部分 人 可能 获得 大致 一样 的 计算能力 和 模型 能力 有 了 这个 之后 大家 能够 同步 的 往前走 能够 往前走 的话 或者说 我们 换 一个 比较 有意思 的话 说 如果 大家 都 是 有 核武器 了 产生 了 威慑

那 正常 来说 就 会 有 一个 比较 好 的 平衡点 如果 只有 某 一些 人 或者说 一类 人有 这样 的 这个 工具 的话 那 就 可能 会 产生 一些 一些 不必要 的 问题 那么 我 以前 的 公司 比如 像 Meta 他们 在 应该 说 是 就是 在 一年

前 就是 还是 比较 适合 想要 开源 的 那么 但是 现在 呢 可能 就是 更 偏 那个 币源 的 这样 的 一个 策略 我 觉得 这个 策略 本身 都 没有 什么 问题 因为 这个 完全 取决于 这个 公司 本身 的 战略 对 公司 来说 如果 他 觉得 开源 有利于 他 的 公司 的 这个 竞争 由于 公司 的 发展 那 他 就要 开源 如果 他 觉得 币源 有利于 公司 的 发展 和 竞争 那 也

就 用币源 的 方式 所以 公司 应该 说 没有 一个 是 非常 清楚 的 一个 坚持 说 一定 要 做 一件 事情 特别 是 这件 事情 如果 跟 它 的 主营业务 是 没有 关系 的话 其实 应该 说 是 可以 灵活 的 我 想 问问 就是说 你 现在 用 的 最 多 的 模型 是 什么 我 现在 用 最 多 的 模型 其实 现在 应该 都 在 用 比如说 像 OpenAI 的 模型 在

用 Trofit 的 模型 也 在 用 然后 Kine 模型 我 也 在 用 像 GM5 Minimax 2.5 这 也 还是 不错 的 MiniMax 2.5 可能 比较 快 一点 我覺 得 還是 挺 不錯 的 就是 說 你 會 發現 就是 有 很多 事情 讓 我 覺得 挺 失驚 的 因為 我 覺得 可能 在 半年前 你 去 用 他們 這些 模型 可能 他們 還沒 辦法 做 一個 完整 的 一個 任務 可能 有 各種

各樣 的 問題 但是 現在 你 再 去 用 的 時候 你 會 覺得 這些 任務 呢 你 像 你 去問 Crawl Code 他們 當然 做 得 很 好 你 去問 Minimax 其實 也 可以 还是 做 得 还 不错 的 就是 有 一些 问题 比如 什么 地方 会 忘记 什么 东西 但是 在 大概 的 这个 流程 和 逻辑 呢 基本上 还是 正确 的 所以 这个 其实 让 我 非常 吃惊 我 觉得 这个

模型 进步 已经 那么 快 了 所以 我 觉得 这个 是 一个 很 有意思 的 现象 我 觉得 以后 可能 也 会 有 更 多 的 新 的 好 的 模型 冒出来 然后 能够 给 我们 这个 日常生活 的 工作效率 提高 很大 的 助力 接下 來 今天 想 重點 跟 你 聊 一聊 大 模型 的 記憶 這也 是 你 研究 的 一個 重點 的 方向 之一 你 先 跟 大家 講一講 這個 大

模型 到底 是 怎麼 記東西 的 對 大 模型 的 記憶 應該 說 一直 是 一個 很大 的 一個 問題 就是 我們 在 2023 年 那個 上半年 的 時候 其實 我們 就 應該 說 已經 開始 做 一些 這樣 的 工作 當時 做 了 一些 長 文本 的 一些 那個 長 的 那個 上下文 的 這樣 的 大 模型 的 拓展 我們 在 2023 年 6 月份 的 時候 其實 我們 有 篇文章 叫 Positional

Interpolation 就是 當時 研究 如何 把 大 模型 的 context window 就是 上下文 的 窗口 長 度 變長 本來 這個 長 度 可能 就 只有 4K 就是 4096 個 Token 這樣 的 一個 數字 2K 或者 4K 這樣 的 量級 非常 非常少 那么 当时 是 说 我们 怎么样 把 这个 东西 拉长 因为 在 我们 的 消化 出来 之前

呢 大家 一直 以为 的 这个 做法 是 这样 就是 我们 要 把 双方 拉长 怎么办 我们 可以 把 数据 放过来 用 更长 的 数据 去 训练 它 但是 这个 训练 过程 呢 是 非常 耗时 的 你 比如说 一个 模型 你 训练 完 了 它 的 双方 是 2K2048 个 Token 那么 训练 完 了 之后 这 双方 是 这么 大 你 就 定 死 了 然后 如果 你 想 把 它 扩展 的话

呢 你 就 得 再 拿 一大堆 的 数据 都 是 很长 的 上下文 数据 让 它 再 训练 一遍 那么 这个 过程 是 非常 慢 的 而且 非常 痛苦 而且 画 很多很多 卡 而且 这个 模型 的 质量 还 不 一定 好 当时 我们 发现 有 很 优异 的 现象 就是说 我们 只要 把 这个 长 上下文 的 窗口 映射 到 短 上下文 的 窗口 把 这 里面 每个 token 输进去 的 它 的

那个 位置 信息 呢 简单 的 出于 2 然后 就 可以 映射 过来 除以 二 之后 你 再 去 做 微调 再 去 做 训练 它 所 需 的 训练 代价 就 很小 很 小小 很多 质量 还 不错 但是 我们 相关 上 发现 这个 有意思 的 现象 那么 这 现象 后来 就是 被 大家 广泛 运用 从 这 开始 应该 说 是 这 篇文章 是 这个 方向 一个 开山 之座 之一 那么 从 开始

就是说 大家 发现 可以 这么 做 那 突然 之间 这个 窗口 就 变得 很长 就是 应该 说 是从 2023 年 的 下半年 开始 吧 就是 你 会 发现 有 很多 的 工作 开始 证明 说 开始 要 做 长刹 下文 的 这个 预测 对 我 觉得 当时 我 记得 包括 那个 Gemini 包括 Kimi 他们 其实 都 有

一些 这样 的 一些 工作 怎么样 把 文字 化上 我 变得 非常 长 那么 这 之后 呢 其实 我们 也 有 一些 其他 的 工作 比如说 像 Attention Sink 这样 叫 注意力 陷阱 还是 注意力 陈现 反正 有 一些 中文 的 翻译 但是 我 也 不 确定 哪个 是 官方 的 那么 它 的 逻辑 是 这样 我 如果 发现 我 只要 保留 整个 句子 的 前 几个 Token 然后 把 中间 的 东西 全部

去掉 那 这个 模型 呢 还是 能够 输出 比较 正确 的话 虽然 说 中间 的 部分 渠道 的 部分 它 没有 记忆 但是 它 还是 说话 比较 连贯 的 虽然 说 你 真的 问 它 它 事实 它 可能 会 开始 出现 幻觉 但 它 说话 至少 不会 出现 爆炸性 的 结果 是 這樣子 所以 我們 之 後 呢 還做 了 一些 比如 說 extension 比如 說 把 這些

中間 的 渠道 東西 拿 回來 就是 我們 的 平衡 上 叫 H2O 就是 叫 Heavy Heater Oracle 那麼 通過 這個 方式 呢 我們 就 可以 讓 這個 模型 首先 記憶 的 大小 是 固定 的 然后 另外 呢 就是 把 那些 重要 的 记忆 拿 回来 之后 呢 它 能 保证 有些 比较 关系 的 问题 还 能 回答 正确 所以 这些 文章 都 是 关于 记忆 的 都 是 关于 就是 怎么

让 这个 模型 在 以下 两种 种 方法 达到 一个 平衡 一个 是 说 就是 我 希望 把 过去 所有 的 上 下方 全部 都 记住 这个 你 需要 花 很多很多 代价 但是 呢 它 走 到 效果 比较 好 另外 一个 方案 呢 是 说 我 有 选择性 地 去掉 一些 过去 的 记忆 然后 这样的话 我 可以 保留 我 可以 保证 存储 的 大小 没有 那么 大 同时 这个 模型

还 能 输出 一个 比较 好 的 接下来 的 输出 大概 是 这样 的 一个 逻辑 你 会 发现 就是说 最近 的 一些 记忆 的 文章 其实 它 都 遵循 这个 逻辑 就是说 一头 是 我 用 大量 的 内存 然后 把 记忆 都 存 下来 但是 一个 是 速度 也 慢 然后 存储 也 大 另外 方面 就是说 我

把 一些 记忆 给 去掉 去掉 之后 呢 那 我 这个 速度 变快 了 但是 呢 内存 也 变小 了 但是 呢 有 可能 会 忘记 一些 东西 所以 我们 在 这个 记忆 的 这个 方向 上 呢 总有 存在 这样 有 东西 的 路线 之真 像 那个 之前 一直 很 火线 一直 很火 的 叫 Linniated Tension 就是 信仪 注意力 模型 那么 它 的 逻辑 是 什么 它 的 逻辑 是 我 把 过去

的 上下 纹 压缩成 一段 就是 固定 长度 的 那个 向量 那么 这个 向量 压缩 完 了 之后 呢 那么 我 就 把 这段 这个 向量 呢 作为 过去 的 记忆 那么 这样的话 一个 好处 是 用 了 记忆量 就 非常少 这是 第一点 那么 第二点 就 有 问题 是 说 如果 我 真的 想要 去 找到 过去 历史

中 的 所有 的 细节 这个 信息 注意力 可能 就 不 太行 因为 有限 的 空间 是 容纳 不下 无限 的 过去 历史 的 所以 你 会 发现 它 这样 有 这样 的 一个 trade off 这 里面 就是 我们 也 讲 的 这个 东西 应该 说 都 是 这种 短期 的 记忆 就是 上下文 记忆 这部分 是 很 重要 还有 一部分 记忆 应该 说 是

在 模型 的 权重 里面 这个 就是 更 长期 的 记忆 了 这种 模型 权重 的 记忆 它 怎么 建立 的 呢 它 应该 是从 预 训练 开始 就 开始 建立 起来 预 训练 的 意思 就是说 我们 要 把 很多很多 数据 就是 海量 把 整个 internet 都 放进 训练 里面 然后 让 它 进行 大规模 的 训练 然后

那么 这样的话 它 这些 记忆 里面 这个 权重 呢 会 慢慢 慢慢 的 从 初始化 开始 慢慢 演化 到 一个 比较 好 的 状态 那么 这 里面 的 这个 记忆 的 这个 演化 的 状态 那个 数字 呢 那 就是 长期 记忆 这 长期 记忆 呢 其实 它 应该 说 是 规范 了 这个 模型 本身 对 这个 世界 的 整体 的 理解 这部分 的 记忆 呢 其实 很难 被 改变 而且 这个 记忆 应该

说 是 对 这个 模型 的 能力 有 很 强 的 一个 影响 如果 这个 模型 他 在 训练 的 时候 呢 训练 得 不太好 那么 最后 导致 什么 结果 呢 就是说 他 在 做 后 训练 的 问题 的 时候 呢 他 会 表现 得 像 一个 比较 笨 的 孩子 就是 什么 事情 都 必须 跟 你 讲 得 很 清楚 他 才能 把 它 记下来 他 无法 举一反三 但是 新 的 事情

来 了 之后 新 的 任务 来 了 之后 呢 他 又 不会 了 你 得 再 给 他 说 一遍 要 把 这个 过程 一步 说 清楚 他 才能 把 它 做 出来 但 他 没 办法 举一反三 但是 如果 续续 练 训练 得 比较 好 他 对 这个 世界 的 理解 呢 非常 深刻 非常 一般化 有 方法 能力 那 就 像 很 聪明 的 孩子 一点 就通 在 后 训练 的 过程

中 他 就 会 很快 地 适应 后 训练 的 任务 并且 能够 举一反三 大概 是 这样 的 两类 记忆 就是 现在 的 记忆 中间 你 觉得 你们 碰到 的 research 碰到 最难 的 一些 问题 是 什么 对 我 觉得 一个 最难 的 问题 就是说 记忆 如何 从 或者说 从此 境背 到 顿悟 这样 的 一个 过程 应该 说 是 一个 比较 难 的

一个 过程 因为 你 就算 你 看 任何 一个 小孩子 你 去 看 他们 怎么 学 的 我 以前 说 我会 觉得 我家 女儿 是 很 有意思 的 一个 学习 过程 我 看 我们 家有 自己 的 孩子 然后 我们 看看 她 是 怎么 学习 的 这 通过 方式 我们 可以 看看 AI 的 学习 能力 跟 她 有 什么 区别 我 发现 像 小孩子 他们 在 学 的 时候 是 这样 比如说 三岁 或者

四岁 这个 时候 在 那 之前 你 跟 他 讲 很多 东西 他 没有 用 因为 他 记不住 你 跟 他 说 了 再 多 他 也 会 觉得 一个 是 记不住 然后 他会 开始 哭闹 啊 就 不想 跟 你 学 这个 东西 但是 呢 过 了 一段时间 之后 突然 在 某 一天 这些 事情 他 都 会 了 就是 我 一直 在 想 这个 问题 就是 这个 小孩子 这个 脑子 是 怎么 长

的 他 会 在 某些 情况 下 他 会 在 一定 程度 之后 一定 时间 之后 呢 他 内部 的 记忆 发生 了 一些 重组 然后 重组 之后 呢 这个 记忆 的 表示 呢 发生 了 变化 变化 了 之后 呢 让 他 突然 之间 理解 了 之前 的 一些 无法 理解 的 一些 逻辑 他用 这 逻辑 可以 举一反三 可以 做 很多很多 事情 对 所以 这个 其实 是 很 有意思 比如说 一个 例子 就是

数数 嘛 对 吧 你 可能 在 两三岁 的 时候 叫 他 数数 他 可能 跟 他 说 1233 怎么样 放 那 他 可能 会 记住 非常 机械 的 就是 这个 东西 加 这个 东西 这个 东西 不是 特别 清楚 但是 你 过 了 比如说 一段时间 之后 比如说 四岁 以后 呢 他 会 突然 之间 的 对 这个 数字 的 大小 开始 有 感觉 然后 他 大概 会 猜出来 这 两个 数字 降加 是 什么

然后 突然 猜出来 就是 一些 两位数 啊 一些 他们 之间 的 一些 关系 所以 很多 时候 都 不用 他 不用 大家 教 他 就 自动 自论 会 了 所以 这个 过程 应该 说 是 很 重要 的 一个 过程 所以 但 这 过程 本身 呢 应该 说 这个 我们 理解 上 来说 我们 现在 还是 有 很大 的 那个 困难 就是 怎么样 这件 事情 会 发生 然后 他 什么 时候 会 发生 怎么样 让 这个

事情 发生 更 快 那么 这个 就是 很大 的 问题 能 不能 让 这个 模型 的 学习 变得 更加 有效率 更加 像 小孩子 那样 学得 更 加快 那 是 这 样子 一个 问题 那么 现在 有 很多 记忆 的 方式 就是 一些 新 的 那个 范式 怎么 去 做 记忆 呢 那么 他们 这个 过程 还是 应该 说 还是 比较 机械化 的 没有 那么 像 我们 小孩子 学习 的 时候 那么 灵动 像 比如说 最近

的 一些 文章 像 Google 这 一篇 叫 Nested Learning 这是 应该 说 是 Google 去年 一篇 比较 火 的 文章 它 是 这样 他们 是 讲话 非常简单 他们 希望 在 设计 网络 架构 的 时候 能够 打破 优化 器 和 神经网络 架构 的 界限 我 希望 所有 东西 都 是 一类 东西 叫

associated memory 什么 叫 associated memory 应该 说 是 脑科学 之名 有 这样 的 一个 概念 就是说 我 有 一个 associated memory 这个 memory 是 这样 我 输入 一个 东西 进去 它 就 出来 一个 东西 这样 一一 的 映射 像 一张 表格 一样 一张 表格 是 说 我 输入 一个 今天 是 今天 然后 初出 就是说 今天天气 是

什么 比如说 这样 一个 表格 非常 清楚 映射 他 希望 把 所有 的 神经网络 的 这 里面 学习 的 过程 都 映射 成 Associated Memory 那么 这样的话 相当于 把 神经网络 里面 每 一部分 都 作为 记忆 的 一个 模块 的 一个 特例 是 这 样子 那么 这个 逻辑 本身 我 觉得 其实 挺 有意思 就是说 这样的话 它 可以 把

事情 都 统一化 了 但 另外 方面 呢 我 不是 很 认同 这个 方向 为什么 呢 对 我 来说 我 觉得 就是 asual memory 它 还是 效率 不高 的 因为 它 只是 把 一个点 记住 了 然后 把 那个 点 弹出来 但是 对人 来说 呢 你 会 发现 学到 一定 程度 之后 呢 它 对 这个 世界 有个 整体 的 理解 这个 理解 呢 可能 是 就 像 以前 祝格亮 说 的 就是说 看 一件

事情 要关 其 大概 就是 我 不 看 細節 但是 我 對 大概 理解 的 非常 非常 深入 的 時候 呢 我 很快 呢 能夠 對 這個 問題 有 很 好 的 一個 答案 所以 有 這樣 的 一個 過程 的 時候 呢 其實 我 覺得 Associate Memory 呢 就是 它 應該 說 還比較 簡單 就是 對 這個 人類 的 記憶 的 這個 形成 過程 呢 應該 說 這個 模型 的 建模 還不夠 那麼 這個

問題 可能 是 很大 的 問題 可以 慢慢 再 去 解決 在 你 的 愿景 里面 未来 有 一个 能够 持续 学习 的 AGI 它 是 一个 脑 容量 在 不断扩大 的 还是 一个 脑 容量 固定 但是 在 会 持续 地 做 这种 记忆 的 升华 和 主动 遗忘 的 这样 的 对 我 觉得 应该 是 后者 应该 是 后者 当然 是 扩大 更好 对 但是 我 觉得 应该

说 是 后者 应该 说 是 让 一个 人 变得 聪明 或者 让 AI 有 非悦性 的 进展 的 一个 很 重要 的 因素 我 觉得 后者 是 重要 的 那么 前者 其实 你 可以 认为 它 更 像是 一个 Internet 因為 我 知道 全世界 英特 爾越 來 越 大 我們 可以 說 我們 可以 把 比如 說 TB , PB 這樣 的 一個 數字 數據放 進內 存裡 面放進 硬 盤裡面 去

那麼 多 數據 追擊 在 一起 那 讓 我們 的 檢索 變得 非常 有效率 但 它 並沒有 升華成 一個 有 自 主意 識 的 人 或者 說 有 一個 對 問題 有 更深 理解 的 人 所以 你 比如 說過 去 的 搜索 時代 它 並沒有 做到 這一點 就是 还是 需要 人 把 数据 整合 起来 然后 获得 一些 新 的 知识 但是 就是 大 模型 来 之后 大 模型 一个 很 重要 的 一个

重要 的 一个 贡献 呢 是 就是 它 通过 训练 的 方式 把 数据 知识 整合 到 了 权重 里面 这个 整合 让 这个 模型 对 这个 数据 和 知识 的 理解 上升 了 一个 层次 对 那么 这样的话 呢 你 再 去 查询 这个 模型 它 给 你 的 回答 就 非常 灵动 很 像 人 了 所以 这

就是 为什么 我们 这 一代 技术 跟上 代 技术 的 区别 上代 技术 还是 比较 机械 的 就 跟 你 单独 精准 匹配 匹配 完 之后 得到 结果 但是 现在 这 一代 的 技术 一 开始 说话 比较 灵动 了 就 更 像 人 它 思维 更 像 人 它 能 对 这个 问题 有些 分析 和 理解 所以 这 已经 是 很大 的 区别 这 两代 区别 这 两代 之间 最大 的 区别 就是

因为 我们 用 神经网络 我们 用 了 大 模型 这个 大 模型 它 做 了 这个 事情 做 这个 训练 这个 事情 让 这个 知识 的 表示 和 存储 发生 了 质 的 变化 我 觉得 是 这 样子 但是 如果 我们 从大 模型 出发 再 往前走 一步 知识 的 表示 存储 发生 了 更加 质 的 变化 或者说 这个 训练 和 存储 的 代价 变低 了 然后 学习 能力 变强 了 很快 能 适应

这个 时代 或 适应 这个 变化 的 世界 那 是 下一代 的 新 的 模型 就是 这 样子 的 现在 我们 看到 这个 contest window 的 这个 长度 是 越来越 长 就是 你 认为 之后 还会 继续 这样 持续 变长 吗 对 我 觉得 是 会 的 天花板 在 哪 很 难 有 天花板 吧 就是 因为 现在 有 这个 需求 比如说 以前 我们 用大 模型 主要

还是 因为 我们 跟 他 要 聊天 聊天 的话 呢 一个 是 聊天 的 频次 不会 特别 高 你 说 一个 人 在 网上 泡个 一天 十个 小时 然后 你 能 聊 多少 话 你 可能 聊个 就是 聊个 什么 十万 字 已经 很 可怕 了 对 那 这个 数字 基本上 是 一天 一个 人 能够 消耗 在 那个 token 的 上限 但是 现在 大 模型 的 用处 不是 聊天 了 就是 很多 时候 是

用来 写 代码 或者说 用来 那个 做 一些 问题 的 分析 那么 这种 情况 下 就是 你 动不动 就要 把 整个 代码 库 放进去 或者说 你 把 你 让 这个 模型 做 多轮 的 这个 工具 这个 呼叫 叫 tool call 对 吧 或者说 做 多轮 的 这个 分析 问题 及 问题 这样 迭代 那么 这个 动不动 就是 很快 的

就是 你 会 很快 的 看见 比如说 你 大 模型 的 上下文 超过 了 1 万 或 超过 了 10 万 经常 会 出现 这样 的 情况 对 就 你 很快 会 发现 这个 上下文 就 用 完 了 这个 是 一个 很 很 很快 的 一个 事情 另外 一个 问题 就是 大家 都 非常 热衷 希望 这个 模型 能够 长期 工作 不 需要 人 干预 这个 其实 是 应该 说 是 最近 半年 就是

各 大厂 各个 大 的 resel lab 他们 都 想要 做 的 事情 所以 就是说 我们 来 本来 这个 工具 可能 每隔 三分钟 就要 跟 你 说 一次 汇报 一下 说 我 制作 完 了 下 一步 是 什么 不 知道 那 这个 对 人 的 那个 注意力 要求 是 很 高 的 那么 之后 我们 当然 希望 这个 模型 能够 工作 一个 礼拜 或者 几天几夜 然后 不要 任何人 干预 那么 这样的话 呢 你 就

需要 大量 的 这个 token 大量 的 上下文 然后 让 这个 模型 能够 工作 所以 总 的 上下文 应该 是 越来越 长 而且 上下文 越长 的话 它 对 这个 世界 的 理解 就 越 深入 它 的 决策 应该 会越 准确 所以 这个 我 相信 是 一个 很大 的 趋势 应该 是 很 难 去 改变 的 但是 最近 是 有 一些 上下文 的 怎么样 把 上下文 这个 memory 做 的 比较 好 的 一个

机制 像 最近 比较 比较 火 的 CropBot 大家 都 知道 这个 CropBot 那么 它 的 上下文 它 的 memory 机制 应该 说 是 比较 有意思 的 它 是 把 memoryorganize 成 各种各样 的 markdown 的 文件 有 一个 短期 的 有 一个 长期 的 这样 一个 文件 那么 这些 文件 首先 一个 它们

是 可读 的 human readable 就是说 我们 真的 去 看 这 文件 然后 把 你们 的 译文 去掉 那么 让 他 真的 不 记得 这 事儿 了 这 事儿 我们 做 的 很 awkward 很 难看 我 不想 让 他 记住 然后 呢 这个 文件 本身 呢 也 是 能够 有 层次感 有些 是 比较 近期 的 一些 任务 有些 是 比较 远期 但是 你 需要 注意 非常 重要 的 记忆 从 这个 方式 呢

可以 让 这个 bot 变得 更加 的 对 这个 对 这个 世界 理理 的 更加 深刻 一点 我 觉得 这个 设计 呢 应该 说 是 挺 有意思 的 给 大家 去 看 一下 那么 另外 一方面 呢 就是说 虽然 说 这个 设计 本身 很 有意思 但是 我们 最终 是 目的 是 当然 希望 AI 能够 自动 的 发现 这个 设计 那么 如果 你 要 让 AI 自动 发现 这个 设计 呢 你 就是 要 AI

得 去 给 很长 的 上下文 它 自己 去 挑 那么 这个 其实 就 意味着 就是说 你 做 任何 的 探索 你 都 需要 很长 上下文 开始 然后 希望 AI 慢慢 在 里面 挑挑 挑能 挑到 一些 好 的 然后 再塞到 当前 的 绘画 里面 去 把 这件 事情 做好 那么 这部 片 的 代表 工作 就是 最近 MIT 有 一篇 文章 叫 Recursive Language Model 对 那 篇文章 就是说 我 怎么样 把 上海 文

作为 一个 数据库 然后 我 动态 从 里面 调 的 东西 出来 然后 用 它 来 去 做 预测 因为 做 那个 decoding 那么 我 觉得 这个 趋势 我 觉得 以后 应该 还是 会 持续 的 会 有 很多 的 文章 会 出来 但是 不管 怎么样 就是 你 最终 也许 上海 文 比较 短 但是 你 在 这个 研究 过程 中 你 就 需要 很长 上海 文 从 这 开始 所以 我 觉得 这个 趋势

应该 说 很 难 扭转 大家 就是 第一 反应 是 先 把 东西 都 塞进去 看 有没有 效果 然后 慢慢 再 往下掉 是 这 样子 我 现在 接下来 想要 跟 你 聊 的 这个 话题 也 跟 刚刚 你 聊 的 非常 相关 就是 我 想 从 物理 世界 再 来看 这个 模型 之 端的 发展 从 去年 开始 我们 看到 内存 还有 存储 的 产业链 上 都 出现 了

供不应求 的 这样 的 状态 AI 的 需求 非常 的 大 然后 产能 跟 不太上 整个 的 这些 所有 的 产品 都 开始 一个 提价 的 周期 对 对 We saw Google, Google, and Inveh達, and these customers have been in Korea for a long time. Even people say they have been in Korea for a long time, and they

time. Even people say they have been in Korea for a long time, and they have been in Korea for a long time. They have been in Korea for a long time, just to ensure the quality of the 3-星 and 3-星. 感觉 好像 是 这些 AI 的 发展 正在 把 所有 的 权战 存储 这种 热 数据 、 温 数据 还有 冷 数据 就 全部 都 给 把 这个 产能 给 占据 了 你

觉得 这个 最大 的 增量 来自 于 哪里 可能 是 刚刚 你 说 的 这 Contact Windows 这个 增量 这个 增量 可 持续 吗 ? 还 未来 有 一些 什么样 的 好 的 解决办法 ? 我 觉得 这个 是 首先 一个 Contact Windows 变长 肯定 是 一个 重要 的 增量 另外 一个 增量 呢 就是说 还是 因为 我们 训练 模型 的 需求 对 因为 现在 模型 还是 很大 的 比如说 像 那个 KIMI K2 是

多少 是 一个 Tillion 的 parameter 对 吧 然后 那个 DeepSeq 的 大小 也 是 600 多 Billion 的 parameter 因为 现在 这 模型 大小 变成 标配 了 就是 以前 可能 觉得 画 出没 好大 呀 现在 就是 我们 认为 600 个 500 个 Billion 到 一个 Tillion 的 大小 成为 Ki 模型 的 标配 然后 就是 如果 你 这 模型 达 不到 这个 大小 可能 这个 模型 能力 不 太行 是不是 有 这样 的

想法 就是 它 这个 数字 跟 我们 以前 的 数字 其实 应该 说 有 很 牛 大概 有 十倍 的 差距 以前 可能 我们 会 觉得 开源 模型 可能 七十 几个 70 个 B 差不多 70 个 Billion 的 Pramed 可能 还行 了 大概 OK 但是 现在 大家 就是 胃口 变大 了 希望 模型 有个 更 大 的 参数 级 然后 效果 更好 所以 这个 是 一个 很大 的 问题 这样的话 会 导致 我要 缺点

模型 的 时候 我 当然 希望 我用 同样 的 算力 搭配 更 多 内存 那 这样的话 就 会 让 这个 效率 变更 高 因为 如果 你 同样 的 算力 内存 不够 的话 呢 你 就要 开始 考虑 各种 问题 就是 同样 一个 模型 你 这个 单卡 上放 不 进去 怎么办 你 得 把 这个 内存 切片 把 这个 比如说 模型

切片 有 可能 说 Tensor Parallel 对 吧 Data Parallel 这些 东西 或者说 那个 或者说 那个 Expert Parallel 就 这种 方式 让 这个 东西 切片 就是 比如说 你 把 这个 很大 的 一个 矩阵 这个 矩阵 非常 大 一个 卡存 不下 你 把 它 切成 几 部分 横着 切 也 可以 竖 着 切 可以 用 这种 过程 的 方式 来切 让 这个 每 部分 的 权重 放在 不同 的 卡上 那么 通过 这个 方式

呢 你 可以 减少 单卡 上 的 这个 内存 的 消耗 但是 呢 代价 就是说 卡和卡 时间 要 通信 通信 就 需要 花 时间 然后 需要 这样 会 增加 整个 这个 Pipeline 这个 延迟 叫 latency 相当于 如果 一张 卡上 内存 不够 的话 我 就 通过 增加 延迟 的 方式 让 这个 系统 能 跑 起来

这样的话 其实 这是 一个 不太好 的 trade off 一个 比较 好 的 方法 就是 我 单卡 CPU 上 我加 很多 内存 加 了 内存 再 大 了 内存 之后 我 可以 把 整个 模型 放进 一块 卡 里面 或者 放进 一个 8 卡 的 机器 上 这样的话 你 通信 的 代价 就 会 降低 那么 这个 训练 过程

就 变快 然后 你 出 结果 结果 出 结果 速度 就 变更 快 那么 大家 都 会 觉得 我 如果 想要 在 AI 中 竞争 中正 出 的话 我 当然 希望 速度 更 快 更好 然后 设计 变得 更 简单 那么 减少 出 bug 的 概率 所以 就是 我 觉得 以后 大 内存 应该 是 一个 很大 的 一个 趋势 因为 有 这样 的 一个 需求 那 自然 就是 老黄 也好 对 吧 那个 AMD

他们 也好 导演 都 想要 把 内存 变得 太大 那 最后 就 会 导致 存储 会 有 这样 的 压力 我 觉得 这个 是 一个 是 AI lab 竞争 的 需求 另外 呢 当然 是 我 上海 门变 大 了 有 这个 需求 所以 这 两份 需求 都 是 有 的 有 这个 需求 之后 呢 你 会 发现 就是 所有 的 卡 内存 都 在 往 大 的 方向 走 这个 是 非常 正常

的 一个 事情 比如说 你 现在 去 外面 去 租卡 有人 会 去 租 H100 还是 去 租 H200 我 觉得 H200 肯定 更好 因为 H200 内存 更大 那么 我 图案 的 算力 我 是不是 我 有 更 大 的 内存 我 是不是 就 有 更好 的 办法 去 做 我 的 训练 我 同样 一个 模型 我用 H200 它 的 内存 大 了 之后 我 就 可以 用 更 少 的 卡去 获得 同样

的 性能 所以 这个 东西 算下来 算账 算账 算下来 它 其实 还是 核算 的 所以 为什么 大 内存 的 卡会 那么 受欢迎 主要 是 这个 原因 那 可以 说 如果 随着 未来 agents 的 这种 应用 的 数量 变多 然后 并且 随着 它 的 任务 复杂度 的 增加 后面 还 可能 有 多 模态 还有 世界 模型 是不是 简直 这个 需求 就 无解 了 是 一个 指数 型 增长 的 应该

说 确实 是 很大 的 应该 是 很 难 了 我 刚才 只 说 的 是 language model 还有 很多 比如说 image model 那 这样的话 就是 你 图片 进去 之后 你 是 需要 高清 的 进去 高清 的 就是 4K 照片 进去 那 这个 内存 就 很大 了 主要 是 activation 就是 因为 一边 图片 模型 那边 就是 参 数量 不是 很大 但是 呢 就是 一张 图 或者 一个 P4 图 进去 之后 呢 它

需要 大量 的 内存 去 存 它 的 这个 中间 结果 那 这个 部分 是 很花 很多 内存 所以 这个 部分 当然 就是 我 内存 大 了 之后 呢 我 本来 P4 训练 的 时候 呢 我 用 比如说 128 的 你 现在 可以 放 256 张卡 进去 一张 图片 你 现在 训练 速度 是 更 快 了 呢 所以 其实 这个 东西 是 卡点 它 卡住 了 这个 训练 的 速度 啊 效率 啊

还有 包括 你 最终 那个 serving 这个 agent 它 的 那个 效率 和 速度 还有 容量 都 在 里面 所以 其实 应该 说 是 这个 很大 的 一个 问题 所以 你 现在 大家 都 想要 大 内存 那么 就 会 有 这个 问题 大家 都 愿意 就是 内存 厂上 就 会 有 一个 瓶颈 这个 瓶颈 就 很 难 被 克服 对 所以 你 觉得 就是说 这个 是 短期 甚至 长期 你 现在 还 没有

看到 一个 好 的 解决办法 对 我 现在 挺难 看到 很 好 的 解决 方法 对 其实 还 挺 困难 的 还 挺 困难 的 对 当然 最近 有 一些 方案 比如说 像 比如 最近 有 一个 公司 他们 把 这个 他们 把 什么 整个 大 模型 的 权重 都 刻 到 了 这个 ASIC 的 定路 里面 去 那 通知 方式 可以 提高 这个 速度 那么 这个 是 一种 就是 这样的话 就 相当于 就是

我 本来 要 用 内存 去存 这个 权重 的 我 把 这个 内存 的 权重 把 移到 那个 ASIC 的 这个 电路 里面 那么 这样的话 这个 我 是不是 可以 用 内存 多传 内存 来存 别的 东西 吗 这 也 是 可能 的 这 是 一些 方案 但 这个 东西 的 解决方案 呢 可能 它 不够 灵活 如果 这个 模型 改了 一点点 那么 今天 那些 电路 就 没用 了 所以 如果 现在 你 想要 做 研究

你 想要 做 比较 灵活 的 一些 探索 的话 你 还是 需要 原来 这个 架构 我们 再 回来 讲 一下 这个 预 训练 训练 这块 反正 你 是 一直 对 scaling law 是 一个 比较 悲观 的 态度 然后 觉得 scaling law 只不过 是 拿 更 多 的 权重 更 多 的 数据 然后 更 多 的 算力 去 把 这个 模型 变 大 但是 它 其实 的 这个 过程 是 非常 的 不 有效

效率 很 低 的 但 好像 现在 的 大厂 包括 谷歌 、 OpenAI 他们 还是 继续 朝着 这个 scaling law 的 这个 方式 在 继续 的 往 下 发展 那 你 是 怎么样 common 这件 事情 首先 第一个 就是 我 刚才 说 因为 我 之前 的 论点 一直 是 这样 Skin Law 是 work 的 只是 说 它 需要 大量 的 资源 它 需要 指数 界 资源 去 支持 它 就 刚才 我们 说 存储

就是 一个 很大 的 问题 对 吧 我 如果 现在 打到 卡 存储 上 那 大家 还 能 不能 把 Skin Law 再 做 起来 这是 一个 问题 还有 电力 也 是 一个 问题 那么 这个 电力 能 不能 保证 我们 这个 很大 的 集群 能 不能 跑 起来 而且 也 保证 电力供应 是 稳定 的 这个 都 是 很大 的 问题 但是 对于 公司 来说 我 觉得 大厂 来说 他们 有 自己 的 路径

依赖 因为 大厂 已经 把 所有 的 team 都 建好 了 每个 team 它 各司其职 然后 把 这个 事情 做成 所以 就 很 难 让 大厂 去 转 方向 去 做 一个 就是 不太可能 或者说 很难 看到 希望 的 新 方向 这 是 很 困难 的 事情 所以 大厂 一定 会

做 路径 依赖 它会 把 原来 的 那条 路径 走 到底 一定 會 這樣子 所以 就是 為 什麼 就是 你 看到 溫亞 也好 谷歌 也好 他們 會 往 這條 路上 去 走 因為 一個 是 別 無選擇 嘛 對 吧 另外 就是 說 這個 成效 就是 不要 花太多腦 筋 的 就是 見效 快 只要 花時間 和 精力 把 原來 的 事情 做 得 更好 就 能 把 整個 問題 做 得 更好 的 這樣 一條

路徑 比 較 安全 所以 就會 發現 這樣 確實 就是 人 的 一些 那個 insights 加上 數據 的 大量 的 那個 生成 和 訓練 是 能夠 把 微信 變得 更強 這個 問題 是 不 大 的 只是 说 它 最后 收益 它会 有 多 大 的 dimension return 这个 其实 是 一个 问题 比如说 如果 我们 的 模型 如果 我们 再加 10 倍 的 算力 再加 10 倍 的 数据 然后 再加 10 倍 的

人力 的话 我们 能 让 这个 模型 往 前提 一点点 直到 最终 它 提到 这个 程度 能够 让 这 模型 变强 那 他们 就 会 去 做到 最后 发现 这个 return 越来越少 了 之后 大厂 们 才 会 去 想 一些 别的 方法 你 有没有 看到 一些 什么 新 的 范式 你 觉得 是 比较 有 希望 的 现在 其实 也 很难说 吧 因为 像 最近 有 一些 Continuous Learning 的 一些 文章

嘛 对 吧 想要 探索 一些 新 的 范式 那么 还有 一些 文章 比如说 我 在 做 Reinforce Learning 的 时候 我能 不能不 用 Model Weights Updates 这些 东西 是 也 挺 有意思 的 但 这 也 是 探索 中 就是说 还 没有 成气候 就是 能够 看看 挺 有意思 的 可以 尝试 一下 但是 你 要 尝试 能够 Skill Up 现在 还 比较 困难

刚刚 你 提到 的 Continuous Learning 持续 学习 为什么 模型 在 训练 完 之后 它 的 记忆 就 停留 在 当时 而 没有 办法 持续 地去 学习 主要 问题 我 觉得 还是 因为 就是 预 训练 阶段 你 在 学习 的 时候 呢 你 学 的 是 大量 的 数据 所以 它 得到 这个 表征 或者说 得到 这个 内部 的 一些 知识 这些 知识 呢 它们 的 学习 的 结构 呢 是 一个 比较 有

特殊 的 结构 那 结构 呢 能够 举一反三 能够 给 后面 那个 后 训练 提高 很多 的 那个 比较 好 的 这个 问题 理解 但是 就是 后 训练 或者说 是 continuous learning 这条 路径 呢 问题 就是 在于 就是 他 能 学到 的 东西 比较 有限 他 可能 就 说 我 只能 学到 比如说 过去 的 就是 对 这个

单独 领域 的 一个 单独 的 知识 所以 说 他 的 方法 就 没有 那么 强 所以 就是 有 这样 的 一个 问题 就是 我 能够 让 他 在 这个 领域 里面 效果 还 不错 有 一些 效果 但是 你 要 讓 它 能夠 反局 反映 到 其他 地方 你 可能 需要 在 some point 就是 你 需要 把 這些 數據 再 放回 預信 鏈裡面 去 讓 它 回路 重造 那麼 它 這個 方法 能會變

更強 所以 大概 現在 是 這樣 的 一個 想法 和 狀態 就是 現在 還沒有 辦法 做到 很小 的 樣本 很少 的 數據然 後 一點點 計算 資源然 後 讓 這個 模型 突然 之間 有 飛躍性 的 變化現 在 還比 較 難 還比 較 難 Conditioning 能力 應該 更 多 是 一個 願景 或者 更 多 是 一個 重要 的 方向 能够 把 这个

事情 我们 再 来 讲讲 推理 测 推理 测 好像 现在 也 有 一个 这个 scaling law 是 说 可能 一个 小 一点 的 模型 它 也许 就是 在 给 它 更 多 的 思考 的 时间 增加 这个 test time compute 的 时间 让 它 也 能够 取得 一个 跟大点 的 模型 差不多 的 一个 效果 这是 以后 发展 的 一个

趋势 吗 所以 這個 應該 說 是 在 那個 2024 年 大概 下半年 的 時候 嘛 就是 這個 時候 O1 剛出 來 對 吧 那個 時候 大家 確實 是 很 興奮 了 就是 這個 路線 就是 test time scaling 也 是 不錯 的 就 橫軸變 成 了 就是 運行 時 或者 推理 時 的 計算 資源 消耗 縱軸變 成 了 這個 推理 時 的 效果 他 看到 這個 skin law 大家 會

很 興奮 我 覺得 這個 其實 也 是 促身 了 應該 說 是 最近 一年 的 就是 強化 學習 這 方面 的 能力 的 一個 發展 突然 之間 所有人 都 去 做 強化 學習 推理 做 強化 學習 做 那個 reinforcement for verify reward 這樣 一個 方向 這個 方向 其實 應該 做 了 挺 多 的 了 但是 其 實後來

也 有 一些 不同 的 意見 就是 說 強化 學習 的 最終 的 那個 它 的 上 屆 可能 是 被 预 训练 给 锁死 这是 一种 可能 的 一种 可能性 因为 为什么 呢 是因为 预 训练 其实 强化 学习 为什么 能握 可能 是因为 预 训练 提供 了 大量 的 思维 素材 和 思维 方式 只是 这些 思维 素材 和

思维 方式 在 退 一 过程 中 被 放大 了 比如说 你 在 预 训练 的 时候 呢 告诉 这个 AI 说 这道题 或者 这样 的 一个 数学题 它 可能 有 100 种 方法 去 想 的 然后 这 100 种 方法 呢 可能 是 有些 是 对 的 有些 是 不 对 的 大部分 是 不 对 的 可能 有 一个 是 对 的 就 可以 了 那么 强化 学习 通过 就是 不停 的

迭代 不停 的 搜索 它 找到 了 这 100 种 可能性 中 的 这种 一种 可能性 并 加以 放大 那么 这样的话 呢 经过 强化 学习 之后 这个 模型 它 以 很快 的 很 高 的 概率 能够 把 这道题 解决 了 就 这样 的 一个 逻辑 如果 你 前面 这个 预 训练 它 对 这个 世界 理解 不够 深刻 然后 对 这个 问题 了解 的 不够 不够 透彻 那 它 可能 永远 也 有 不法

发现 后面 的 那个 解题 思路 主要 是 这样 的 一个 逻辑 所以 按照 这个 逻辑 就 很 容易 就 可以 解释 为什么 有人 会 观察 到 强 化学系 在 做 后 训练 的 时候 它 的 上届 是 存在 的 就 有些 问题 如果 你 前面 是 做 不 出来 的 预 训练 里面 根本 没 这个 知识 或者说 预 训练 的 知识 不够 丰富 提出 不 出 这个 问题 的 解决方案 的话 你

用 强 化学系 做 也 是 做 不 出来 的 所以 這個 其實 是 一個 問題 所以 強溫習 這個 SKILLING LAW 呢 其 實應 該 說 是 它 會 受制 於 前面 預訓 練會 對 這個 世界 的 表示 的 一個 上界會 有 這樣 的 一個 問題 所以 我們 比如 說 在 2024 年 下半年 看到 這個 比如 說 這個 TEST TIME SKILLING LAW 這個 LAW 其實 應該 相當 於 就是 相當 於 我 在

前面 畫了 一點點 但 之 後 它 是 這樣子 走 還是 說 是 這樣子 走 其實 是 不好 說 的 就是 我覺 得 有點 傾向 於 是 說 你 在 往 後 SKILL 的 時候 也 可能 會 這樣子 走 就是 慢慢 慢慢 就 会 给 我 上界 把 这个 把 这个 模型 的 能力 呢 给 限制住 这是 一个 一个 问题 所以 这是 为什么 现在 大家 开始 做 continuous learning 对 吧 为什么 大家

做 continuous learning 呢 是因为 大家 会 意识 到 我 单纯 的 用 后 训练 的 一些 推理 我 不 改变 模型 权重 是 不够 的 我 希望 在 后 训练 推理 过程 中 同时 也 改变 模型 权重 那么 这样的话 模型 才 会 有 更好 的 对 世界 的 表示 那么 也许 它 这 条线 能够 更

加快 一点 这 就是 为什么 它 带来 这个 关注 方向 发生变化 的 一个 原因 你 现在 看到 的 推理 端 你 觉得 未来 的 三到 五年 最 可能 有 前景 的 一个 推理 的 这个 演变 路线 是 什么样 我 觉得 当然 一个 首先 就是说 是 我们 这个 推理 过程 能 不能 更 加快 更加 有效率 这个 是 重要 的 我们 有 一些 不同 的 方案 去 做 它 比如说 我们 能 不能 让

这个 推理 的 推理 链 变得 更加 短 更加 有效率 我们 之前 曾经 就 有 一些 文章 做 这个 比如说 做 那个 影 空间 推理 就是 我们 的 推理 过程 呢 每 一步 呢 不 一定 是 那个 人类 语言 可以 是 一个 抽象 语言 这 抽象 语言 呢 可能 是 用 某种 高位 相量 来 表示 的 高位 相 量 表示 的话 呢 它 能够 它 一个 高位 相 量 可能 会顶 你 一句

话 或者 顶 你 更长 的 一段话 让 这个 推理 变得 更 有效率 更快 的 速度 把 推理 找到 出来 这是 一个 另外 呢 这 是 我们 也 证明 了 就是 隐 空间 推理 它 的 一个 好处 呢 说 这个 推理 向量 里面 可以 同时 存 几个 不同 的 推理 路径 所以 这个 效率 就 会 比 那个 就是 正常 的 这个 语言 推理 要 高 这 为什么 呢 就是 你 可以

认为 隐 空间 推理 这个 向量 它 相当于 是 一个 量子力学 的 一个 叠加 态 这个 叠加 的 这个 推理 路径 呢 它 同时 能够 很多 不同 的 探索 路径 通过 这个 方式 可以 让 推理 效率 变得 更加 高 一点 这是 一种 可能 的 做法 我们 最近 已经 看到 了 有 很多 的 组 其实 在 这 方向 做

一些 探索 看看 这个 隐红圈 推理 能够 提高效率 提高 多少 这是 一个 那么 另外 一条 路 就是说 最近 比如说 一个 比较 火 的 方向 应该 说 几个 月 前 比较 火 的 方向 就是 叫 parallel thinking 就是 叫 平行 推理 这 里面 就是说 我们 里面 还是 用 语言 来 做 推理 但是 我 希望

在 某种 形状 下来 说 这个 语言 推理 能够 并行 进行 而 不是 串行 的 进行 是 这 样子 就 比如说 吧 你 跟 大家 说 我 接下来 有 1 2 3 4 5 5 点 要求 比如说 你们 讲话 的 时候 会 这么 说 有 5 点 要求 之后 这 5 点 要求 可以 分别 自己 再 做 推理 那么 一旦 5 点 要求 的 提纲 列出来 之后 那么 这 五个 要求 本身 的

推理 过程 就 可以 让 它 自动 进行 就是 这样 这 五个 要求 是 可以 同时 进行 的 而 不 需要 顺序 进行 那通 这个 方式 呢 就 可以 利用 这个 更 多 的 计算资源 来 做 这个 推理 不 需要 等 前面 推理 结束 之后 再 做 下 一步 推理 这样 会 更 快 这个 是 一个 那么 当然 还有 一些 方法 就是 我们 怎么 让 推理 变得 更加 扎实 让 它 变得 更加

短 同时 能 抓住 本质 这些 问题 还有 就是说 你 怎么 让 做 推理 的 时候 能够 很快 地 去掉 那些 不必要 的 或者说 明显 是 错 的 一些 推理 链条 让 这 推理 过程 变得 更 快 这个 我们 这边 有 一篇 叫 DeepConf 就是 通过 这个 方式 能够 很快 地 降低 推理 的 Token 的 使用量 同时 效果

还 更好 一点 这个 都 是 可以 做 的 明白 那 那个 Cocona 它 不是 并行 的 它 还是 串行 的 只是 说 是 每 一步 的 它 的 推理 的 结构 它 里面 的 表示 不是 语言 了 而是 一个 Latant Vector 叫 引 空间 的 变量 这个 对 Token 的 消耗 是不是 更大 了 应该 说 就 是从 长度 上 来说 它 是 变短 了 对 当然 就是 还有

一些 其他 的 小 好 比如说 你 以前 要存 一个 Token ID 你 现在 要存 一个 整个 Vector 那么 这样的话 你 就 会 对 存储 的 效果 变大 对 所以 你 会 发现 就是 在 你 在 设计 各种 算法 的 时候 它 有 这种 Trade off 就是 一方面 变强 一方面 变弱 所以 这个 怎么样 去 平衡 它 是 一个 问题 还 想 问 你 一个 Hallucination 这个 幻觉 的 问题 你 觉得 这 幻觉 问题 最后 会 怎么 解决

我 觉得 换句 问题 应该 说 是 根植 于 这个 模型 本身 的 结构 的 就是 在 训练 过程 中 就是 模型 的 权重 它 除了 学到 一些 有 意义 的 结构 之外 可能 还 学到 一些 没有 意义 的 东西 这些 没有 意义 的 东西 呢 可能 在 这个 数据 集 上面 呢 它 是 没有 作用 的 但是 呢 如果 这个 数据 集 里面 的 数据 呢 就是 在 测试 的 时候 呢

超过 了 这个 数据 集 本身 的 分布 的 那个 边界 那么 这些 没有 学完 了 权重 的 这个 方向 就 可能 会 影响 它 是 這樣子 那麼 就是 用數學 語言來 說 呢 這個 權重 本身 呢 有 兩 部分 一部分 是 有 signal 就是 有 信號 的 子 空間 還有 一部分 呢 是 叫 nospace 就是 那種 沒有 信號 的 子 空間 對 吧 但是 沒有 信號 的 子 空間 裡面 呢 這些 權重

本身 也 有 一部分 分量 在 那裡 這 部分 分量 平時 是 就是 沒有 並沒有 打擾 你 這個 正常 的 推理 過程 但是 如果 你 輸 的 數據 呢 跟 你 正常 推理 過程 不 一樣 那麼 這 部分 權重 就 可能 會 影響 你 可能 是 这样 的 一个 结构 那么 主要 如果 要 解决 它 的 问题 要 解决 比较 好 的话 我 觉得 最终 还是 要 去 打开 大 模型 黑箱 知道

里面 这个 全球 是 怎么样 walk 的 这样 可能 会 更好 的 去 解决 这个 问题 今年 那个 小龙虾 bot 出来 的 时候 你 当时 还 在 朋友 圈里 发了 一个 帖子 你 用 了 觉得 感觉 怎么样 我 其实 就 用 两 小时 吧 我 也 没有 用太多 对 因为 我 当时 觉得 我装 了 之后 我 一装心 也 虚 因为

他 必须 要 我 把 所有 的 各种 API 的 key 都 交 出来 所以 就让 我会 觉得 有点 有点 慌 我 觉得 所以 我会 在 网上 发 一个 帖子 就是说 我 与其 用 小龙虾 我 不如说 我 自己 用 我 现在 的 AI 这 coding 的 方法 自己 写 一个 或者 写 一些 比较 更加 专一 的 这样 的

一些 工具 還 不是 想 依賴小龍 蝦 讓 他 去 做 他 想 做 任何 事情 這樣 的 話 我心 裡 不是 很踏實 萬 一 他 做 什麼 壞 事 我 就 不 知道 這個 是 一個 安全性 的 問題 是 這樣子 因為現 在 這個 小龍 蝦 應該 說 他 變成 這樣 的 一個 模式 其實 我 也 跟 很多 人 說過 他 說 他 相當 於 這樣 就是 我 有 小孩子 這 小孩子 是

agent 然 後 這 小孩子 手上 握有 我 所有 的 秘密 然後他 到 外面 去 跟 各種 人 聊天 幫 我 把 事情 做 完 但是 呢 他 智商 也 不够 高 所以 他 有 可能 被 人 骗 了 比如 我 小孩子 跑 到 菜市场 别人 跟 你 说 哎呀 你 小孩子 真乖 呀 什么 你 能 不能 我 给 你 五块 钱 你 能 不能 把 我 你家 地址 告诉 我 呀 对

吧 让 小孩子 可能 什么 东西 把 自己 告诉 他 了 那 接下来 你家 就 可能 会 晚上 就 就 就 就 就 就 就 就 就 就 被 人 那个 被 人 被 人 被 人 敲 开门 进来 多 东西 偷偷 走 了 现在 就 这样 的 状态 就是 所以 这个 小孩子 他 脑子里 可能 有 所有 的 你 的 密码 你 的 OpenAI Key 比如 OpenAI 的 Anthrofic Key 这个 还是 算好

因为 如果 这 东西 被 偷 了 之后 你 可以 通过 某种 方式 把 它 不 你 可以 把 原来 的 key 给 删掉 嘛 对 吧 这样 就 没事 了 但 还 有些 其他 东西 比如说 像 你 的 Google 的 邮箱 的 一些 那个 access 对 吧 或者说 是 你 的 一些 机密 的 文件 的 密码 或者说 某 一些 那个 能够 access 到 你 的 重要 的 那个 folder 的 一些 token

这些 东西 其实 应该 说 是 非常 非常 重要 的 而且 非常 危险 甚至 比如说 你 可以 把 人家 的 就是 存 password 的 这个 密码 告诉 别人 一看 别人 里面 谁 的 密码 都 知道 了 所以 有 这个 问题 呢 就 会 导致 你 并 不能 保证 就是说 你 这个 小孩子 不会 被 人 骗骗 走 对 网上 有 各种 方式 来 骗 专门 有 一个 平台 把 这些 小孩子 都 放在 一起

让 他们 自 相互讨论 找到 一个 骗 大人 的 方法 比如说 就是 有 你 可以 认为 他 有 这样 的 一个 问题 在 那 所以 你 可以 用 它 但是 要 特别 注意 它 里面 最好 的 办法 是 一边 用 一边 去 想 它 里面 是 怎么 work 的 我 非常 建议 是 看 它 的 代码 这样的话 你 会 理解 得 更 深刻 那么 可能 也许 你 自己 可以 做 一个 我们 看到

这个 agents 越来越 成为 大家 的 工作 流 的 这种 伙伴 你 觉得 这个 agents 未来 会 对于 科技 组织 的 这种 组织 架构 包括 大家 的 协同 方式 有些 什么样 的 影响 我 觉得 以后 应该 说 是 很多 的 一些 基本 的 常识 基本 的 一些 知识 应该 都 会 或者 基本上 一个 人 和 人 交流 的 东西 都 可以 让 一人来 完成 了 就 比如说 吧 我 本来 要 跟 你

面对面 的 聊天 对 吧 我本來 可以 跟 你 說 我們 什麼 時候 吃 個 飯 或者 說 什麼 時候 有 一個 那個 見 個面 或者 這樣 的 一個 meeting schedule 可能 本來 說 我們 需要 個 秘書去 相互 對接 我們 現在 說 我 有 Agent 你 有 Agent 你們 倆 對 接 一下 就 可以 把 這個 meeting 或者 說 把 這個 一些 事務性 的 工作 給做 完 了 這個 是 一個 很大 的

一個 變化 其實 這個 事情 這趨勢 我 應該 在 一年 多 以前 我 已經 看到 了 我們 當時 在 Meta 我 其實 寫 了 一個 Purportal 叫 叫 OmniAgent 就是 我 说 将来 可能 是 人 和 人 之间 的 交流 从 A 站 来 完成 当时 有 这样 一个 proposal 就是 跟 大家 说 这 是 有 可能 会 发生 的 一个 事情 但是 当时 是 觉得 这件 事情 可能 会 在 五年 内

发生 但是 相当 那么 快 就 已经 发生 了 那 以后 就是说 有 可能 会 有 这样 的 一个 问题 就是说 我们 在 我们 要 不要 去 商界 购物 呢 我们 要 不要 去 浏览 这个 达马逊 的 网站 呢 我们 要 不要 去 那个 网上 去 看 各种 东西 呢 很多 事物 性 的 一些 搜索 不是 说 出于 经验性 或 娱乐性 的 搜索 通过 事物 性 的 一些 搜索 过程

可能 都 可以 用 Agent 代替 了 我 为什么 花 两 小时 去 浏览 网站 找到 一个 东西 去 买 的 我 让 他 去 帮 我 去 买 就行了 网上 已经 有人 跟 我 说 了 说 我 用 Agent 我用 小龙虾 来 帮 我 买 东西 买 东西 我 很 开心 我 很 喜欢 他 知道 我 的 所有 的 preference 他 买 的 东西 当然 是 非常 好 的 而且 对 小龙

下来 说 他 并不需要 花 很多 时间 去 浏览 网页 对 他 来说 随着 网页 都 是 一个 连接 他 马上 就 看 完 了 然后 找到 你 想要 的 东西 所以 这个 过程 应该 说 是 颠覆 了 整个 电商 逻辑 或者说 整个 人 和 人 之间 的 交互 逻辑 这个 应该 说 以后 会 有 很大 的 影响力 以后 就 说 也许 你 的 网站 做 的 再划 烧

没有 用 了 有 很多 就 吸引 人口 点击 的 东西 比如说 这边 有 广告条 然后 希望 你点 进去 然后 这边 有 一个 很 闪亮 的 东西 或者说 有 一个 特价 然后 人会 看到 它 然后 会 有点 进去 的 欲望 但是 对于 小龙虾 来说 对于 agent 来说 他 没有 欲望 他 的 任务 是 说 我 现在 把 这些 事情 做成 了 我 希望 我 拿到 最好 的 deal 所以 这些 广告 对 他

没有 用 所以 这样的话 这个 整个 逻辑 可能 就 不同 了 就是 怎么 个 不同 法 现在 应该 说 还 在 眼镜 中 但是 会 很 有意思 所以 你 觉得 这个 个人 助理 会 以后 越来越 强大 比如说 我们 以后 可能 就是 一个 super app 我 包括 所有 的 这种 一时 住行 的 需求 什么 打车 什么 的 我 可能 都 不用 这种 Uber 这样 的 平台 经济 而是 直接 是 用

一个 super app 就 能 解决 所有 事情 你 是 这么 看 吗 对 这个 是 有 可能 的 就 比如说 吧 那个 以前 比如说 你 要 打电话 约 什么 水管 工 或者 打电话 约 银行 打电话 约 一些 一些 人 然后 把 事情 解决 了 如果 这些 人 每个 人 是 一个 agent 他们 有没有 必要 就是 你 没 办法 给 他 了 你 就让 我们 Agent 二十四 小时 在 网上 垫 蹲 着

只要 有 任何 的 需求 过来 或者 任何 的 那个 信息 过来 他 马上会 告诉 你 然后 马上 打成 协议 然后 完成 所以 这个 这个 效率 是 远远 高于 你 打电话 这个 事 一定 会 发生 因为 事务性 的 工作 就是 一个 是 我们 其实 并不需要 这样 的 这样 的 经验 我 希望 把 这个 经验 能够 交给 别人 让 他 很快 的 完成 我 希望 更 多 时间 去 花 在 我 想要 的

经验 上面 所以 这个 事情 一定 会 发生 另外 就是说 它 有 一个 裹挟 的 效应 就是 如果 世界 上人 都 用 这个 了 你 不用 你 就 会 被 kick out 比如说 一个 水管 工说 我 平时 就 接电话 的 但是 其他人 都 开始 用 bot 了 这 bot 说 可以 20 小时 在 网上 蹲 着 跟 你 拉生意 另外 就是 它会 自动 的 把 这些 生意 组织 起来 然后 变成 一个 很

好 的 路线图 让 你 去 走 比如说 你 今天 要 走访 五家 这 五家 在 哪里 然后 怎么样 开车 很快 能够 走一遍 那 这个 过程 都 可以 让 AI 自动 完成 那 如果 你 不用 的话 你 这个 效率 就 低于 其他 同行 那 你 就 会 被 淘汰 所以 最终 就是 通过 这个 方式 大家 都 会 不得不 去 做 这个 事情 不管 你 主动 还是 被动 的 有些 人 是 主动 的

说 我 要 提高 这个 效率 有些 人 是 被动 的 如果 你 不 做 别人 做 了 你 就 会 被 淘汰 那 大家 都 会 进去 所以 这个 是 一个 很快 的 一个 过程 吧 照 你 的 描述 是不是 这个 失业 才 刚刚开始 未来 还会 有 更 多 的 标 我 其实 在 严重 统建 里面 说 了 我 觉得 现在 这个 变化 应该

非常 大 就是说 我们 洪水 马上 来 了 就是 我们 大家 很多 人 没 感觉 到 因为 很多 人 可能 不是 AI 从业者 所以 他 也 不 知道 会 发生 什么 事情 对 吧 就是 很多 是非 AI 从业者 是 就是 一直 岁月 静好 岁月 静好 突然 有 一天 像 地震 一样 突然 一天 发生 大 事情 了 然后 发现自己 被 裁 了 然后 就是 这个 被 财不像 说 以前 的 被 财说 我 跟

我 老板 有 矛盾 或者说 我 在 这 公司 做 的 不好 我 去 另外 一个 公司 还是 找到 工作 不是 这 样子 的 就是 那个 时候 是 你 突然 间 发现 全 行业 它 的 逻辑 变 了 它 的 逻辑 它 的 思路 跟 以前 不 一样 了 所以 你 这个 技能 在 任何 地方 都 没有 用 所以 这 是 很 可怕 的 事情 就是 我 觉得 我 只是 说 是 在

洪水 来 之前 给 大家 说 一下 说 这个 事情 会 发生 只是 大家 不 一定 会 听到 直到 some point 突然 间 打算 原来 事情 发生变化 了 这 已经 发生 了 是 这 样子 的 一个 逻辑 你 会 怎么 教育 下一代 我 觉得 对 我 来说 我们 还是 希望 他 能 做 一些 他 想 做 的 事情 因为 下一代 比如 再过 20 年会 是 什么

样子 我 觉得 这 很 难 很 难 去 想象 因为 现在 想象力 已经 落后 于 发展 的 速度 了 这 跟 以前 是 不同 的 以前 我 写 科幻小说 我会 想 这样 的 一个 想法 可能 50 年 之内 都 不能 发生 我先 慢慢 写 吧 没关系 那 现在 倒 过来 说 这个 idea 如果 你 再 不 写 就 没有 了 因为 已经 发生 了 就 不是 成为 过去 不会 成为 将来 的

那个 科幻 而 成为 过去 的 那个 历史 所以 就是 这样 的 一个 速度 在 演进 所以 非常 的 快 所以 20 年 之后 发生 什么 真的 不 知道 我 觉得 能够 预测 的 呢 可能 就是说 就是 人 还是 会 在 那儿 然后 呢 人 最 重要 的 是 他 的 目的性 他 的 一个 是 他 的 经验 一个 是 他 的 目的性 有 很多 事情 是 跟 目的 形式 绑定 的 这部分

东西 是 机器 不能 替代 的 因为 机器 替代 之后 就 意味着 这 东西 不再 是 你 的 了 所以 这部分 的 东西 应该 说 是 比较 长久 的 东西 比如说 你 要 写 一部 小说 或者说 你 完成 一部 作品 或者说 一些 比较 艺术家 的 个人 的 一些 目的 达成 的 结果 那 这部分 就是 它 的 源 起

和 它 的 整个 设计 本身 是 艺术家 通过 自己 的 内心 的 这个 经历 产生 了 一个 冲动 这个 冲动 呢 会 变成 了 一个 作品 这个 冲动 和 它 的 它 的 目的 它 的 想法 这部分 是 人类 独有 的 就是说 人类 独有 的 意思 是 说 我 并 不是 说 它 不能 被 AI 取代 我 说 的 是 说 这部分 被 AI 取代 之后 呢 这个

作品 是 没有 意义 的 这部分 意义 在 哪里 在 人 怎么 把 这个 意义 写 下来 作为 自己 的 动机 把 这 事情 做成 这部分 呢 是 机器 跟 人 很大 的 一个 区别 随 之后 应该 还 在 所以 最终 教育 孩子 或者 教育 下一代 应该 是 说 希望 他 有 很大 的 动力 他 能够 做 想 自己 想 做 的 事情 有 动力 的话 这个 学习 这个 过程 就 会 变得

非常 愉快 然后 他 也 愿意 用 这些 所有 的 工具 完成 他 想要 做 的 事情 我 觉得 这个 是 重要 的 你 会 怎么 看待 就 比如说 现在 的 这个 agents 跟 大 模型 的 发展 因为 大家 很 担心 就是 如果 是 agents 创业 的话 很多 人 都 担心 你 想 创业 那个 方向 很快 就 被 大 模型 的 能力 给 轻视 掉 你 觉得 对 他们 这些 对 这个 一个

当然 是 就是 速度 要 快 对 吧 然后 另外 就是说 如果 有 客户 的话 那 这 客户 本身 对 你 会 产生 粘性 然后 客户 本身 有些 数据 这些 数据 可能 变成 你 的 护生 盒 这个 是 一个 重要 的 一些 一些 一些 一些 点 对 吧 这 是 一个 就是 要 不 就是说 做 一些 很快 的 那个 项目 这个 项目 的 速度 快 于 就是 单位 性 的 发展 速度 要

不 就是说 你 做 一些 很难 的 问题 这个 问题 现在 单位 解决不了 那么 这 两个 都 是 有 价值 的 我 觉得 是 这 样子 最后 问 你 的 一个 问题 你 下 一站 去 哪里 我会 去 一个 startup 做 co - founder 当然 我们 现在 这个 名字 和 方向 呢 我们 在 这 不能 公开 因为 我们 现在 还 在 融资 我们 现在 在融 series A 马上 就要

结束 了 就要 结束 了 那个 还是 挺 好 的 应该 说 挺 顺利 很多 人 愿意 投 还是 这 样子 不过 具体 的 方向 还有 人员 组成 我们 暂时 防止 我们 希望 之后 有个 关键 的 时间 点 我们 可以 宣布 非常 期待 知道 下 一步 是 什么样 的 动向 谢谢