Neureport 82期｜基于侵入式脑机接口的书写神经编解码模型研究

大家 好 欢迎 来到 第 82 期 的 脑人言 New Report 那么 我们 今天 的 报告 也 是 在 B 站 和 微信 公众 号

上面 徒步 直播 我们 是 设 了 在 报告 之后 设 了 这个 提问 环节 那 我们 报告 过程 中 就 不 提问 那 我们

今天 非常 荣幸 的 邀请 到 了 浙江大学 的 齐悦 老师 为 大家 分享 今年 最新 发表 的 一项 脑 的 接口 研究成果

那 我们 熟悉 这个 领域 的 朋友 都 知道 我们 這 大意 識 是 國內 青州 式 腦結構 研究 的 領域 的領 軍 力量 然後我們

齊羽 老師 也 是 其中 的 青年 代表 人物 國內 的 第一例 在 結胎換 轉上 成功 植入 猶胎 電極 並實現

腦控 的 開 創性 工作 就是 由齊羽 老師 團隊 完成 的 那 我們 近年 的 國內 的 腦結構 的 產業 發展 迅速 但是

真正 做 我們 這個 腦結構 研究 尤其 是 做 這個 神經邊 解碼 机智 研究 的 团队 是 屈指可数 然后 但是 我们 都

知道 神经 边界 码 的 这个 原理 是 推动 我们 脑 接口技术 发展 的 核心 动力 所以 今天 其实 老师 将会 为

我们 讲解 他们 团队 在 书写 行为 的 这个 运动 控制 和 神经 边界 码 方面 的 最新进展 那 我们 现在 就 把 时间

交给 齐悦 老师 欢迎 非常感谢 啊 也 非常 荣幸 啊 能 在 这里 分享 一下 我们 最近 的 一些 研究 的

一些 成果 和 我们 的 一些 思考 我们 主要 做 的 这个 问题 的话 呢 是 这个 基于 侵入 式 的 一个 运动 的 脑袋

接口 那 今天 的 这个 报告 呢 主要 是 来 跟 大家 讲 一 讲 这个 神经 边界 码 我们 的 一些 目前 的 一些 研究

结果 和 一些 想法 那 首先 呢 我们 就是 研究 的 这个 内容 呢 是 运动 那 其实 呢 运动 这个 事情 呢 跟 大家 都 是

息息相关 的 其实 作为 人 来说 啊 我们 其实 对外 进行 各种各样 的 交互 跟 环境 进行 交互 最 直接 的 方式 就是

运动 了 就 比如说 呢 比如说 我们 的 这个 去 跟 这个 拿 一个 物体 啊 是 运动 对 吧 然后 还有 一些 复杂 的

运动 弹钢琴 呀 书写 啊 等等等等 其实 包括 我们 说话 那 我们 说话 呢 实际上 整个 的 这个 发音 的 过程 也

是 通过 运动 来 完成 的 所以 呢 运动 呢 其实 对人 来说 是 一个 非常 非常 重要 的 一个 功能 啊 那 从 我们 的

这个 这个 中学 课本上 教给 我们 这个 运动 他 跟 这个 大脑 里面 是 怎么 怎么 样子 的 一个 编辑 码

的 一个 原理 呢 那 不 知道 大家 还有 没有 印象 啊 是 个 应该 是 我们 中学 的 一个 课本 里面 他 告诉

我们 呢 这个 运动 皮层 就是 这 样子 的 这个 一条 在 这里 这个 大脑 这里 的 这么 一条 那 这个 运动

皮层 的话 呢 他 好像 是 这样 这 样子 的 一个 这个 倒立 的 一个 这个 猪 小人 这 样子 的 一个 形状 它 的 意思 是 什么

呢 就是 呢 在 这个 这个 运动 皮层 的 这 一条 里 呢 其实 在 不同 的 位置 上 会 编码 我们 不同 部位 的 一些

运动 比如说 呢 靠 下 的 这个 区域 呢 就 基本上 是 口部 和 面部 那 是 这里 呢 可能 是 手 在 上面 啊 可能 是

这个 腿 和 脚 啊 等等等等 那 基于 这些 的 这个 运动 的 这个 基本 的 一些 基础 的 这个 知识 呢 那么 我们 就

可以 去 了解 这个 运动 他 到底 是 在 我们 这大 大脑 里面 是 怎么 去 进行 啊 编码 怎么 进行 执行 的 那么

除了 这个 道立 的 这个 诸如 小人 呢 其实 我们 还有 一些 啊 就是 大家 比较 公认 的 那 运动 皮层

怎么 去 编码 运动 的 一些 呃 这个 知识 那 在 这个 里面 的话 呢 就是 早期 的 这个 基于 这个 猴子 的 一个

实验 那 在 这个 实验 里面 呢 让 这个 猴子 拿 着 一个 摇杆 这 是 他 的 一个 摇杆 然后 呢 这个 外面 呢 这个 代表 的

这个 平面 上 有 八个 方向 那 八个 方向 的话 呢 他 的 这个 灯会 随机 的 亮 起来 那 哪个 灯亮 起来 呢 这个

猴子 就 被 训练 的 这个 灯亮 起来 了 我 就 把 这个 杆摇 过去 再摇 回来 就 做 这么样 的 一个 简单 的 一个

操作 实际上 呢 就是 让 这个 猴子 他 的 这个 手 啊 在 这个 平面 上往 不同 的 不同 的 这个 方向 进行 一个

移动 同时 呢 在 这个 过程 中 呢 会 记录 他 的 这个 运动 皮层 的 这个 跟 这个 手臂 运动 相关 的 这个 区域 他

的 这个 单个 神经元 他 的 一个 电 活动 一个 信号 那 在 这样 在 这样 的 一个 实验 中 呢 科研人员 当时 得到 的

一个 基本 结论 是 什么 呢 就是 在 在 这样 的 一个 运动 中 我们 这 一个 神经元 就是 单个 的 这个 运动 皮层 的

这个 神经元 啊 他 的 这个 放电 的 频率 啊 就是 每秒钟 放电 的 这个 多少 次 就是 一个 放电 的 一个 频率 那

它 这个 放电 的 这个 频率 呢 是 跟 运动 方向 相关 的 那 在 这个 图里 呢 就是 横轴 呢 是 这个 平面 上 的 不同

的 这个 运动 方向 从 0 度到 360 度 就是 这么 一圈 然后 呢 这个 纵轴 呢 就是 它 的 这个 神经元 这 某 一个

神经元 啊 它 的 这个 放电 的 一个 频率 了 我们 管它 叫 发放 率 那么 在 这个 图里 呢 我们 会 发现 呢 这个 神经元

呢 在 某 一个 方向 上 它 有 一个 最高 的 发放 率 在 其他 的 这个 方向 上 呢 , 越 偏离 他 的 这个 最高 发放 率

的 这个 我们 管 他 叫 这个 偏好 的 这个 方向 啊 越 偏离 这个 偏好 方向 呢 他 的 这个 发放 率 呢 会 逐渐 的

一个 下降 那 换句话说 这个 神经元 他 在 编码 运动 的 什么 信息 呢 ? 那

? 那 就是 这个 运动 的 一个 方向 了 啊 , 运动 的 方 这个 方向 那 这个 呢 其实 也 是 我们 这个 这个

我们 对 运动 皮层 最 基本 的 一个 了解 了 那 也 是 我们 其实 现在 运动 脑结 结构 里面 最 重要 的 一个

基础 因为 呢 我们 一旦 呢 知道 每 一个 神经元 他 是 对 什么 运动 方向 是 敏感 的 那么 当 我们 踩 到 很多 神经元

的 这个 信息 的 时候 呢 我们 就 可以 通过 神经元 的 活动 去 预测 你 的 目前 的 一个 运动 方向 那 这能 用来

干什么 呢 其实 呢 我们 现在 这些 复杂 的 脑 结口 啊 基本上 都 是 基于 这 样子 的 一个 基本原理 比如说 呢 我们

在 一个 平面 上 可以 这个 预测 一个 平面 上 的 二维 的 一个 移动 方向 我们 就 可以 控制 一个 这样 的

一个 电脑 鼠标 了 那 这个 是 马斯克 前 几年 他们 发布 的 一个 视频 啊 这个 鼠标 呢 是 完全 是 通过 一个

这个 啊 结胆 的 志愿者 他 完全 是 通过 脑电去 控制 的 他 这个 鼠标 这个 鼠标 大家 也 可以 看 哎 控制 的 还是

比较 流畅 的 那 如果 呢 我们 在 三维空间 中 啊 能 把 这个 运动 方向 解析 出来 就 可以 控制 一个

机械 臂 了 这个 也 是 控制 机械 臂前 几年 的 一个 工作 基本上 就是 这 样子 的 一个 原理 听 着 好像 还 挺

简单 的 样子 那 如果 呢 我们 想 去 获取 这 样子 的 一个 单个 神经元 的 一个 放 电信号 呢 我们 就 需要 通过

一些 这个 神经 记录 手段 把 这个 神经 信号 呢 从 大脑皮层 记录 出来 那 通常 来说 呢 如果 要 记录

单个 神经元 的 放电 呢 我们 是 需要 用 这种 侵入 式 脑机 接口 这 样子 的 一个 手段 的 那么 既然 说 是 侵入 式 脑机

接口 呢 我们 需要 把 这 样子 的 一个 电极 的 一个 阵列 啊 实称 式 的 一个 阵列 那 放置 在 大脑皮层 的 表面 要 刺入 大脑皮层

的 在 这个 示意图 里面 大家 可以 看 啊 这个 是 个 示意图 那 这些 呢 很小 很小 的 这个 黑 的 看着 好像 就 和

小蝌蚪 一样 的 呢 就 代表 的 是 我们 运动 皮层 的 神经元 了 那 这 样子 的 一个 电极 呢 需要 经过 这 样子 一个

开炉 的 一个 过程 把 它 直接 送到 大脑皮层 表面 然后 刺 到 大脑皮层 这 样子 的话 呢 每 一个 它 的 这个 电极 的

这个 尖端 呢 就 可以 感受 到 神经元 放电 的 这个 信息 了 就 像 这个 视频 里面 看到 的 那 这 里面 的 视频 里

呢 这 样子 的 一个 小方块 其实 呢 就 对应 了 我们 这 上面 的 一根 这个 电极 那 这里 大家 可以 看到 哎 这个

神经元 放电 的 形状 还是 比较 明显 的 啊 那 一根 线 出来 呢 就 说明 哎 这个 电极 他 探测 到 了 一次 神经元 的 一个

放电 活动 那 这个 电极 呢 虽然 看 在 用 这个 图看 好像 还 挺 吓人 的 样子 但 实际上 呢 它 是 非常 小 的

它 是 非常 小 的 啊 这个 啊 比 我们 的 这个 指甲盖 还要 小 很多 然后 呢 它 的 这个 大概 的 一个 次入 的 就是

电极 的 这个 长度 的话 呢 一般 也 就是 1 毫米 到 1.5 毫米 也 是 非常 短 的 啊 次 在 这个 大脑皮层 的 这个 表面 去

读取 这个 脑 信号 的 一个 信息 那有 了 这个 神经元 放电 的 信息 呢 在 根据 刚才 我们 提到 的 这个 方向

编码 这 样子 的 一个 基本 的 一个 原理 那 我们 就 可以 实现 脑袋 接口 了 那么 但是 呢 在 实操 的 一个 过程 中

呢 就是 大家 会 发现 就是 虽然 这个 原理 是 很 简单 的 但是 实际上 呢 我们 用 这 样子 的 一个 简单 原理 去

进行 这个 脑袋 接口 的 一个 解码 的 过程 中 呢 还是 会 发现 有 一些 问题 能控 吗 是 能控 的 但是 控 的 性能 呢

它 往往 呢 会 出现 一些 不太 稳定 或者 呢 是 不 太 准确 的 一个 情况 就是 虽然 的话 呢 他 也 可以

大概 的 去 反映 你 的 这个 运动 的 这个 方向 的 一个 意图 但是 呢 实际上 的话 呢 哎 他 会 比较 容易 在 整个 的

这个 解析 过程 中 的 还是 会 出现 一些 这个 错误 那么 这个 地方 呢 其实 也 是 我们 整个 团队 呢 去 做

这个 解码 的 时候 一个 起点 那 我们 也 是 发现 呢 虽然 有 这个 基本 的 一个 原理 但是 呢 如果 直接 基于

这样 的 一个 原理 构造 这 样子 的 一个 这个 解码器 就是 这个 一个 Y 等于 FX 就是 我们 把 这个

神经 信号 直接 就 映射 到 这个 运动 信号 然后 这样 的 一个 方式 呢 它 最终 的 这个 效果 呢 不是 特别 的

令人满意 因此 呢 这 就 使得 我们 呢 去 从 这个 信号 里面 啊 到底 看一看 这些 神经元 到底 看一看 发生 了

什么 为什么 会 导致 我们 这个 控制 呢 没有 我们 想象 中 的 那么 理想 那 这个 的话 呢 就是 一个 比较

这个 有 有趣 的 一个 问题 了 那 这个 呢 问题 呢 也 不是 我们 发现 的 其实 早 在 这个 2007 年 呢 就 有 很多 的

这个 科学家 也 发现 了 一个 问题 那 是 什么 呢 就是 呢 虽然 呢 我们 的 这个 刚才 我们 提到 啊 每 一个 这个 运动

皮层 的 神经元 他 呢 可能 会 有 一个 这个 偏好 方向 他 有 一个 就是 在 某 一个 方向 上 最大 发放 所以 呢 他 有

一个 偏好 方向 但是 呢 他 的 这个 偏好 方向 的话 呢 有 的 神经元 是 不 稳定 的 那 什么 意思 呢 在 这么

长 长短 的 一个 时间 内 啊 这个 是 零到 四百 毫秒 其实 就是 这个 手 伸出 去 的 这么 短 的 一个 时间 内 那 他

的 这个 偏好 方向 呢 就是 以 这个 箭头 所示 啊 这 是 一个 神经元 的 一个 偏好 方向 他 可能 会 出现 变化

就是说 呢 他 一会 呢 偏好 这个 方向 一会 呢 去 偏好 那个 方向 在 这 样子 的 一个 情况 下 呢 我们 用 传统 的 这种

啊 这个 解码器 的 一个 方式 那 我们 通常 训练 一个 Y 等于 Fx 我们 总是 觉得 这个 F 他 应该 是 不变

的 嘛 换句话说 我们 总会 假设 这个 这个 神经元 它 的 这个 编码 的 这个 偏好 方向 它 应该 是 稳定 的

它 如果 是 不 稳定 的 我们 就 很 难用 这么样 的 一个 F 去 刻画 它 的 这个 偏好 方向 了 所以 呢 如果 是 我们 假设 它

的 偏好 方向 是 稳定 的 结果 在 实际 的 控制 的 这个 过程 中 它 的 偏好 方向 还会 变化 那 就 会 导致 我们

前面 说 的 控制 就 会 不 稳定 经常 会 出错 这样 的 一个 问题 了 那么 我们 当时 就 发现 了 这么样 的 一个 问题

导致 我们 控制 的 效果 是 不好 的 那么 我们 首先 呢 就 是从 计算 的 角度 呢 对 这个 问题 呢 进行 一个 简单 的

一个 描述 和 抽象 那 我们 会 认为 这个 是 一个 什么 样子 的 一个 过程 呢 就是 比如说 呢 在 我们 整个 的

这个 这个 身手 抓 这么 一个 物体 很 简单 的 这么 一个身 抓 的 一个 过程 中 呢 那 我们 的 大脑 呢 可能 啊

我们 这个 大脑 它 实际上 的 这个 编码 的 一个 模式 它 不是 一蹴而就 的 就 比如说 呢 我们 在 深 抓 的 过程 中

呢 那 有 可能 呢 我们 的 编码 模式 呢 可能 从 这个 黄色 的 模式 切换 到 了 这个 绿色 的 模式 又 切换 到 了 红色 的 模式

换句话说 呢 那 它 可能 这个 大脑 里面 呢 不是 只有 一条 这 样子 的 一个 神经 编码 的 这 样子 的 一个 方式

而是 有 多个 方式 的 那么 因此 呢 就是 刚才 我们 说 的 这个 Y 等于 FX 那 是从 神经 信号 到 这个 这个

运动 信号 这个 编码 这个 运动 方向 的 这个 映射 呢 它 可能 呢 不是 一个 这 样子 的 一个 简单 的 一个

线性 的 一个 函数 而是 呢 这个 线性 函数 呢 可能 是 跟 时间 相关 的 换句话说 呢 我们 可能 不能 忽视 的 就是

这个 地方 还有 一个 t 就是 它 虽然 是 一个 函数 但是 这个 函数 呢 可能 会 具有 实 变性 具有 实 变性 那

再 抽象 一点 从 数学 的 角度 呢 有 可能 呢 这 三段 这个 信号 呢 其实 可能 分别 对应 了 一个 y 等于 hexy

等于 h2xy 等于 h3x 但是 呢 这个 h1 和 h2h3 呢 它 又 不 一样 那 还有 一个 但是 呢 就是 它 整个 的

这个 这个 这个 抓握 的 这个 过程 中 啊 到底 哪 一段 是 h1 哪 一段 是 h2 哪 一段 是 h3 我们 也 不 知道 同时 呢

h1 h2 h3 它们 的 内容 呢 我们 也 不 知道 那么 这 样子 的 一个 问题 实际上 呢 如果 从 数学 的 一个 表达 上

来说 实际上 就是 一个 可以 看作 是 一个 分段 线性 的 问题 但是 呢 我们 并不知道 其中 的 这些 线性 的

函数 以及 呢 这个 分段 线性 它 这个 分段 的 这个 时机 那 如果 碰到 这 样子 的 一个 问题 大家 看要

应该 怎么 去 求解 呢 如果 呢 我们 去 假设 这个 y 等于 fx 这是 一个 恒定 的 这样 的 一个 函数 那 其实

我们 最后 求 出来 的 这个 f 虽然 我们 也 可以 求解 对 吧 我们 求解 出来 呢 发现 它 肯定 既 不是 h1 也 不是

h2 也 不是 h3 实际上 是 什么 呢 顶多 就是 一个 这个 三个 函数 如果 是 在 这 样子 一个 数据 上

啊 它们 三个 等长 的 那 基本上 就是 这个 H1H2H3 的 一个 平均 所以 呢 你 拿到 的 这个 呢 它 在 这个 阶段 不

它 不 它 也 不 准确 因为 它 不是 H1 对 吧 在 这个 阶段 也 不 准确 在 这个 阶段 也 不 准确 所以 呢 这 就是 有 可能

会 导致 我们 呢 在 这个 临床 上 真实 控制 的 时候 呢 就 会 发现 它 不 稳定 不 准确 了 那 关键 怎么 解决 这个

问题 呢 最 简单 的 最 直接 的 一个 想法 呢 就是 我们 能否 求 出来 这个 H1H2H3 三个 F 然后 呢 在 这个 时间 呢

使用 H1 在 这个 时间 呢 使用 H2 在 这个 时间 呢 使用 H3 那 随着 这个 大脑 切换 它 的 模式 呢 我们

的 这个 解码 的 这个 模型 也 可以 跟着 去 切换 这个 模式 这个 是 最 理想 的 一个 方式 但是 这个 怎么

执行 呢 当时 的话 呢 就是 为了 解决 这么 一个 问题 呢 我们 也 提出 了 一种 这个 就是 一个 动态 的

这个 解码器 动态 的 一个 解码器 那 这个 解码器 的话 呢 它 与 传统 的 解码器 最大 的 一个 不同 在于 什么 呢

它 没有 假定 这个 F 的 这个 函数 的 不变性 那 相反 呢 它 不光 是 就是 它会 认为 那 既然 我 有 多个 这个 这个

函数 那么 我们 的 这个 模型 呢 就 不能 只 使用 一个 函数 了 那 相反 呢 我们 就 应该 使用 一组 函数 去 共同

刻画 整个 的 这个 编码 的 一个 过程 那 在 这个 示意图 里 呢 这 是 一个 示意图 啊 那 这个 地方 实际上

就是 一个 这个 模型 的 一个 集合 这 里面 有 很多 个 模型 那 这 里面 呢 有 六个 那 就 代表 了 我 这 池子 里 啊

有 一共 有 六个 模型 那 这个 地方 呢 还有 这个 圈 的 大小 这是 什么 意思 呢 这个 圈 的 大小 呢 就 代表 啊 这个

模型 它 的 权重 那 我们 想 啊 我们 有 一大堆 的 模型 然后 呢 通过 不停 的 改变 , 有 的 时候 这个 模型

全中大 有 的 时候 这个 模型 全中大 然后 呢 改变 他们 全中 呢 再 把 这些 模型 呢 通过 一个 贝耶斯

的 这个 aver age 这个 一个 方式 , 把 它 综合 成 一个 这个 解码 模型 那么 我们 就 可以 通过 条

权重 的 一个 方式 使得 呢 这个 解码 模型 呢 有 的 时候 呢 是 以 这个 这个 这个 模型 为主 , 对 吧

有 的 时候 是 以 这个 模型 为主 就 可以 实现 就是 整个 的 解码 过程 我 从 这个 时间 上 就 可以 不停 的 去 实现

这个 模型 的 替换 就是 刚才 实现 了 刚才 神经 信号 变 了 我 的 这个 模型 也 可以 跟着 变 这 样子 的 一个

机制 但是 在 这个 在线 的 一个 解码 的 过程 中 实际上 我们 是 并不知道 它 什么 时候 切换 模型 的 那 怎么 做 呢

我们 是 根据 了 一个 这个 贝耶斯 的 这 样子 的 一个 方式 通过 神经 信号 那去 通过 一个 这个

每个 模型 的 计算 一个 四燃 的 一个 方式 就 比如说 呢 虽然 在 上 一个 时刻 这个 模型 三 可能 是 最 为主

的 这个 权重 最大 的 一个 模型 那 现在 呢 来 了 新 的 神经 信号 呢 我们 计算 了 一下 四燃 这个 四燃 呢

发现 现在 这个 模型 四 可能 四燃 最大 了 那 在 下 一个 时刻 呢 我们 通过 这个 贝耶斯 的 一个 计算 呢

使得 这个 模型 四 在 下 一个 时刻 就 会 有 一个 更大 的 一个 权重 这是 通过 一个 在线 的 一个

时序 贝耶斯 的 一个 技术 来 完成 的 这个 的话 呢 就 可以 实现 我们 在线 这个 模型 的 一个 切换 了 那 这个

呢 也 是 我们 比较 早 了 就是 19 年 的 时候 呢 就是 在 这个 Nurips 这个 会议 上 发表 的 这 样子 的 一篇 工作 那 它 呢

跟 传统 的 这个 方法 相比 呢 最大 的 一个 特征 呢 就是 实现 了 就是 我 多个 模型 的 一个 动态 的 一个 切换 这

样子 的 一个 框架 那么 有 了 这 一个 框架 呢 我们 就 可以 在 这个 在线 的 真实 执行 过程 中 呢 获得 一个

比较稳定 的 一个 性能 这个 是 比较 早 啊 这个 2020 年 的 时候 给 大家 看 一下 我们 当时 这个 我们 临床 的

这个 志愿者 控制 这个 蓝色 的 球 去 碰 这个 红色 的 这个 球 这个 是 这个 当时 在线 的 一个 过程

虽然 呢 速度 不是 很快 啊 但是 的话 呢 还是 一个 稳定度 还是 比较 高 的 那 有 了 这 一些 的 这个

技术 呢 我们 也 是 在 这个 2020 年 的 时候 呢 当时 就 实现 了 这个 机械 臂 的 一个 控制 那 这个 也 是 可以 实现 了

我们 这个 志愿者 呢 他 自己 就 可以 去 吃 油条 和 可乐 等等 的 一些 控制 机械 臂 可以 完成 一些 任务

以及 的话 呢 我们 当时 还给 他 实现 了 一些 比较 有趣 的 一些 应用 比如说 就是 这个 麻将 这个

麻将 当时 为什么 要 做 这个 麻将 呢 主要 是 我们 的 这个 志愿者 呢 这个 是 他 的 这个 爱好 他 最 喜欢 做 的

事情 呢 就是 这个 打麻将 了 但是 呢 这个 麻将 这个 事情 呢 其实 其实 从 这个 电脑 控制 鼠标 控制 的

这个 角度 还是 有 一定 的 难度 呢 为什么 呢 因为 呢 其实 我们 可以 看到 下面 的 这 一排 的 这个 麻将 这个 牌

很小 那 我们 这个 鼠标 这么 大 那 很 容易 就 一 就是 错 了 啊 就是 一不小心 就 可以 这个 误操作 误操作 了 以后

呢 这个 麻将 还有 一个 特点 啊 就是 前面 你 打 的 再 好 后面 扔 错 一张 牌 可能 就 都 白搭 了 啊 就 就 所以

我们 当时 呢 就 发现 这么 一个 问题 那 当时 怎么 解决 的 呢 就是 我们 给 他 重新 增加 了 这 样子 的 一个 这样 的

一个 面板 那有 了 这个 面板 以后 呢 我们 的 牌 就 可以 放大 一点 放大 一点 的 同时 呢 我们 就 不 在

这个 14 张牌 里面 去 选 啊 我们 是从 这个 通过 这个 人工智能 的 一些 技术 使得 呢 他 从 就是

我们 选出 三张 哎 比较 好 的 一个 备选 牌 放在 这里 然后 呢 让 我们 的 志愿者 呢 从 这 三张 牌 里面 再 去

选择 那 这 样子 的话 呢 其实 这个 这个 这个 玩 这个 麻将 的 时候 呢 这个 胜率 就 高 了 啊 所以 呢 我们 的 那个

志愿者 呢 当时 也 非常 喜欢 就是 通过 这个 脑控 呢 就 玩 这么样 的 一个 游戏 好 那 这个 呢 就是 我们

这个 前期 的 一些 基础 啊 就是 我们 实现 了 这个 控 鼠标 那么 整个 的 这个 发展 到 大概 这个 2021

年 的 时候 呢 当时 的话 呢 这个 美国 呢 斯坦福大学 这个 他们 团队 呢 他们 构建 了 一个 这种 这个 英文

书写 的 这个 脑机 接口 系统 那 当时 这 篇文章 呢 也 是 发表 在 这个 自然 期刊 作为 一个 封面 的 一个

文章 发表 的 然后 呢 影响力 是 比较 大 的 那 大家 可以 看 啊 在 这个 视频 里面 啊 这 是 他们 这个 文章 给

出来 的 视频 上面 的话 呢 是 当时 就是 让 这个 志愿者 这 是 也 是 他们 的 志愿者 让 他 去 打 的 这个 字 这个

东西 呢 代表 是 空格 就 这个 打 一号 代表 的 是 空格 让 志愿者 呢 去 打 这么 一行 字 那 下面 的话 呢 就是 这个

志愿者 真实 这个 打字 的 这个 速度 和 精度 大家 可以 从 视频 里面 看 一下 整个 的 这个 速度 和 精度 呢

如果 大家 这个 敲 键盘 啊 是 个 一 指禅 因为 一个 手指头 敲 基本上 也 就是 这个 速度 和 精度 了 所以 呢

几乎 呢 做到 了 一个 可以 这个 媲美 我们 正常人 输入 这个 文字 的 这样 的 一个 水平 所以 呢 当时 也

引起 了 大家 很大 的 一个 这个 这个 关注 那 既然 有 了 这个 英文 的 这种 打字 的 这个 脑机 接口 呢 所以

我们 也 自然而然 的 想到 那 我们 能 不能 做 中文 呢 这个 也 是 我们 当时 的 一个 起点 我们 就 想 我们 想 做 一个

中文 的 这 样子 的 一个 脑机 接口 这样 子系统 但是 呢 中文 呢 和 英文 有 一个 最大 的 不同 就 刚才 那个 系统 啊

大家 看 哎 性能 好像 还 不错 那 他 是 一个 什么样 的 一个 原理 呢 其实 呢 英文 呢 基本上 他 就是 26 个 字母 那

然后 再 加上 一些 标点符号 呢 可能 有 30 多个 这种 字符 常用 的 这个 字符 那么 他 呢 就是 可以 通过

这个 这个 字符 的 这个 分类 比如说 他 这个 一共 30 个字符 那么 他 刚才 的 这个 整个 的 这个 实验

范式 呢 是 通过 让 这个 志愿者 呢 去 想象 啊 写 哪 一个 字符 他 就 会 把 这个 识别 出来 然后 呢 打 在 这个

屏幕 上 但是 呢 这个 英文 呢 是 可以 通过 这么 30 个字符 分 分类 去 解决 的 但是 呢 汉字 呢 很 难 通过 这样 的

一个 方式 一个 原因 是 什么 呢 主要 是 汉字 呢 我们 的 常用 文字 太多 了 啊 我们 的 常用 文字 的话 呢

其实 就 至少 能 有 一万个 我们 平常 的 这个 常用 的 这个 汉字 所以 呢 我们 当时 呢 就 觉得 哎呀 那

不 可能 通过 这种 啊 这个 汉字 分类 的 一个 方式 去 解决 了 那 我们 怎么 做 呢 我们 就 想 一个 简单 的 一个

想法 呢 就是 我们 能 不能 把 整个 的 这个 书写 轨迹 还原 出来 因为 呢 其实 我们 的 这个 汉字 啊 不光 是

汉字 那 大部分 的 这个 文字 那 你 只要 能 把 这个 书写 轨迹 还原 出来 啊 然后 足够 的 这个 呃 能 保持 它 的

整个 的 这个 空间 的 一个 结构 那么 我们 就 可以 进行 这么 一个 书写 了 这 实际上 是 一个 更 通用

的 一个 书写 的 一个 方式 所以 呢 啊 基于 这 样子 的 一个 想法 我们 当时 呢 就 去 做 了 这个 呃 汉字 书写 的

这个 过程 这个 脑 信号 的 一个 记录 那 在 这个 里面 的话 呢 就是 我们 通过 这样 的 一个 虚拟 的 一个 手

让 我们 的 志愿者 呢 跟着 一个 虚拟 的 手 去 写 一个 一个 的 一个 汉字 然后 记录 了 很多 的 神经 信号

然后 呢 我们 再 通过 这 样子 的 一个 神经 信号 因为 我们 之前 呢 是 做 这个 鼠标 的 轨迹 控制 嘛 那么

我们 现在 呢 其实 也 是 换 到 这个 汉字 其实 本质 上 也 是 一个 轨迹 的 一个 解码 哎 我们 本来 以为 呢

这 是 一个 一个 应该 是 一个 比较简单 的 一个 问题 结果 呢 真实 的 我们 去 做 这个 汉字 解码 的 时候 呢 发现

效果 是 不好 的 大家 看 啊 这个 是 这个 脑机 接口 的 这 四个 字 那 真实 我们 解码 解 出来 的话 呢 实际上 是

看不出来 的 啊 你 知道 是 脑机 接口 呢 还 能 大概 的 识别 出来 如果 你 不 知道 呢 这 真的 是 看不出来 是 个 什么 字

的 所以 呢 但是 和 我们 想法 是 不 一样 的 我们 当时 觉得 这个 事情 可能 挺难 但是 呢 还 没有 看 懂 为什么

就是 我们 轨迹 能解 得 好 但是 这个 汉字 的 这个 书写 的 这个 轨迹 呢 确实 解 不好 了 那 当时 发现 了 这么

一个 困难 以后 呢 也 就是 促使 我们 就是 重新 的 去 审视 我们 的 这个 这个 这个 运动 皮层 里面 的

这个 神经元 它 到底 是 一个 什么样 的 一个 编码方式 那么 还是 刚才 的 我们 刚才 说 啊 这个 运动 皮层 的 神经元

呢 是 编码 了 这个 呃 我们 运动 的 一个 方向 那么 这个 呢 也 是 我们 刚才 提到 的 那 但是 呢 很多 神经元

呢 他 会 发现 呢 虽然 呢 有 的 神经元 有 一个 这个 偏好 的 方向 但是 呢 在 一个 很 短 的 一个 时间 内 他 的

偏好 方向 呢 有 可能 会 发生变化 那么 基于 此 呢 我们 进一步 的 想 去 看 一下 到底 有 多少 神经元 是 有

一个 稳定 的 这 样子 的 一个 编码 方向 呢 有 多少 神经元 会 出现 这 样子 的 一个 变化 的 一个 方向 的 结果 呢 这个

结果 的话 呢 还是 比较 令 我们 震惊 的 我们 发现 呢 其实 只有 很少 一部分 的 沈 建军 具有 这 样子 的

我们 可以 认为 的 这个 稳定 的 这 样子 的 一个 这个 偏好 方向 那 这个 的话 呢 也 是 这个 就是 其他

团队 这个 结果 跟 我们 的 结果 也 是 相似 的 这个 是 2013 年 其他 这个 其他 团队 呢 在 这个 运动 皮层 踩

出来 的 这个 神经元 分析 了 他 的 这个 编码 特性 那 这个 图 怎么 看 呢 这个 图 的话 呢 首先 呢 是 一个 柱状图

啊 就是 他 的 这个 纵轴 实际上 就是 一个 这个 百分比 百分比 这个 呢 就是 35% 这 40% 那 横轴

的话 呢 他 是 一个 叫做 r 方 的 一个 值 这个 r 方是 什么 意思 呢 这个 r 方 呢 大家 可以 看 下面 这个

数值 啊 0.1 0.2 等等 这个 r 方 等于 0.1 表示 那 如果 呢 通过 这种 这个 运动 方向 编码 的

这种 编码 模型 可以 解释 这个 神经元 10% 的 神经 活动 什么 意思 呢 首先 这个 地方 的话 呢

是 这个 神经元 的 一个 统计 啊 35% 呢 就 代表 了 35% 的 神经元 40% 的 神经元 那 这个 地方 的话 呢

这个 0.1 代表 是 什么 呢 表示 呢 这个 神经元 如果 呢 我们 要 通过 这种 啊 这个 偏好 方向 的 这 样子 的 一个

编码 原理 去 解释 这个 神经元 的 这个 神经 发放 活动 只能 解释 它 10% 的 发放 活动 很少 了 90%

你 都 解释 不了 那么 有 多少 的 神经元 是 解释 低于 10% 的 呢 大家 可以 看 一下 比例 35 啊 这个 是

35% 是 低于 5% 的 可 解释性 连 这个 5% 都 不到 然后 呢 还有 这个 40% 呢 是 低于 这个 10%

的 那么 这 两个 加 起来 呢 基本上 35 啊 加上 一个 40 是 将近 80% 了 将近 80% 的 神经元 那 将近

80% 的 神经元 呢 如果 用 这种 这个 偏好 方向 的 这种 模型 去 解释 呢 其实 呢 连 他 10% 的 神经 活动 都

是 解释 不了 的 所以 说 呢 这个 我们 也 当时 觉得 哎呀 这个 比例 其实 是 很 高 的 那么 对于 一些 比较 好

的 神经元 那 通过 这样 的 一个 方式 到底 能 解释 多少 的 神经 活动 呢 大概 是 多少 呢 大家 可以 看 这个

整个 的 这个 分布 最高 最高 的话 呢 也 就 到 这个 0.5 换句话说 呢 在 他 的 这个 统计 结果 里面 啊

就是 最好 的 一个 神经元 也 只能 解释 他 的 这个 一半左右 的 神经 活动 那 换句话说 另外 的 一半 神经 活动 到底 在

干嘛 是 完全 未知 的 至少 呢 跟 这个 别码 模型 呢 他 是 不能 直接 的 去 解释 的 那么 这个 这个 现象

的话 呢 通常 来说 呢 就是 大家 会 认为 这个 是 神经元 嘛 他 的 是 这个 有 一些 生物 的 一些 随机 的 一些

特性 所以 呢 他 可能 呢 就是 有 一些 神经 活动 就是 随机 的 就是 不能 解释 的 这 是 一种 解释 就是说

呢 这个 神经元 呢 他 有 一个 非纹 的 一个 特性 但是 的话 呢 我们 呢 想 去 看 那 如果 呢 他 是 有 一个 变化 的

一个 特性 那会 不会 他 的 变化 跟 某些 因素 有关 呢 还是 说 他 就是 一个 不能 解释 的 一个 随机 的 一个

变化 如果 他 的 这个 变化 是 跟 某些 因素 有关 的 当 我们 找到 这些 因素 的 时候 我们 不 就 可以 刻画 这些

变化 了 吗 那 基于 这 样子 的 一个 观点 呢 我们 就 进一步 的 去 看 了 我们 在 这个 我们 采到 的 这些 神经元

啊 我们 采到 的 这些 神经元 那么 首先 的话 呢 我们 采到 的 这些 神经元 呢 我们 发现 了 这个 神经元 确实 也

是 多种多样 的 有些 神经元 可以 大概 的 被 这个 偏好 方向 的 这 样子 的 一个 编码 模型 所 解释 有些 神经元

也 确实 不行 那么 比如说 的话 呢 我们 拿 了 一个 最 简单 的 一个 汉字 就是 口 这样 的 一个 字 那 我们 这 竖 是 吧

横折 横 这么 一共 三笔 那 为什么 拿 这个 口字 呢 因为 这个 口字 里面 基本上 有 一个 完全 对称 的 一个

两竖 和 两横 我们 去 看 他 是不是 这个 整个 的 这个 神经元 的 这个 发放 呢 是 跟 他 的 这个 这个 书写 的

这个 轨迹 的 方向 是 直接 可以 对应 的 那么 我们 看 在 这个 图里 的话 呢 就是 这个 口 这个 字 了 那 这 上面

的话 呢 我们 用 颜色 表示 了 这个 神经元 啊 在 书写 每 一个 书写 到 每 一个点 的 时候 他 的 神经 发放

越红 呢 就 代表 他 的 发放 是 越 剧烈 的 那么 我们 首先 呢 可以 看到 这个 神经元 一号 啊 一号 神经元 他 呢

就是 在 写 竖 的 时候 总是 有 一个 比较 剧烈 的 一个 发放 但是 写 横 的 时候 基本上 是 不 发放 的 那 这个

神经元 其实 可以 认为 是 一个 跟 运动 方向 相关 的 神经元 那 它 的 最 相关 的 运动 方向 是 什么 呢 有 可能

就是 下 这个 运动 方向 这个 是 一个 基本上 是 有 这种 偏好 方向 的 一个 神经元 但是 我们 也 同时

发现 了 第二种 的 神经元 这 第二种 的 神经元 就 比较 有趣 了 我们 可以 看到 啊 这个 是 这个 口 这个 字

写 了 三遍 他 呢 这 在 这 三遍 的 这个 口 这个 字 呢 非常 稳定 的 只 发放 第一 数 啊 只 在 第一 数上 他 是 有 反应 的

在 第二 数上 尽管 他 也 是 数 啊 也 是 一个 往下 的 一个 运动 他 是 完全 没有 任何 反应 的 那 当时 呢 我们

就 观察 观察 到 哎 既有 这 一类 神经元 也 有 这 一类 神经元 那么 我们 进一步 的话 呢 把 这 两类 神经元 呢 做

了 一个 这个 统计 的 一个 分析 我们 去 看 一下 就是 进行 了 一个 分析 那 在 这个 分析 里面 呢 这个 纵轴 呢

就是 刚才 的 那个 r 方了 这个 r 方 等于 0.1 呢 说明 这 上面 每 一个点 都 是 一个 神经元 啊 那 这 上面

的话 呢 比如说 这个 点 呢 就 代表 这个 神经元 比如 他 的 这个 r 方是 这个 0.1 那 这个 r 方是 什么 呢 就是

刚才 的 那个 r 方 就是 如果 用 这个 运动 方向 编码 的 这个 模型 它 可 解释 的 程度 是 10% 那 它 这个 R

方 就是 0.1% , 20% 就是 0.2% 那 这个 值越 高 呢 , 就 说明 了 这个 神经元 呢 , 越 可以 被 刚才

的 那个 运动 方向 的 一个 编码 的 模型 去 解释 , 越低 呢 就 越 不能 解释 了 。 那么

。 那么 在 这 里面 呢 我们 发现 呢 确实 有 一部分 神经元 的话 呢 它 的 这个 R 方 呢 , 是 高于 0.1

的 , 然后 呢 最多 呢 , 可能 也 就 不 超过 0.4 在 我们 这个 数据 里面 跟 起 , 就是 前面 的

这个 发现 是 一致 的 。 那么

。 那么 接下来 呢 我们 还 做 了 一个 这个 横轴 上 的 这个 一个 指标 这个 指标 是 什么 呢 就是 在 这个 呃 我们 管

他 叫 这个 reli abil ity 那 这个 东西 是 什么 呢 就是 我们 的 每 一个 神经元 呢 我们 呢 通过 他 写 每 一个

字 的 时候 啊 就是 重复 写 一个 字 的 时候 他 的 发放 是不是 一致 来 去 看 他 是不是 稳定 的 编码 某 一个

特性 就 比如说 呢 像 这 两个 神经元 呢 他 的 编码 的 这个 稳定性 是 非常 高 的 因为 呢 我 同一个 字 重复

了 三遍 它 的 这个 发放 呢 是 基本上 一致 的 那 就 说明 了 这个 神经元 呢 肯定 在 写字 的 过程 中 呢 它 编码

了 一些 什么 东西 而且 是 编码 了 一些 稳定 信息 但是 呢 这 一部分 神经元 呢 它 的 R 方是 很 低 的

我们 看 啊 都 是 在 0.1 以下 的 那 换句话说 呢 虽然 这 一部分 神经元 呢 在 书写 的 过程 中 它 编码 了 稳定

的 信息 但是 呢 这个 信息 呢 却 不是 运动 方向 哦 却 不是 运动 方向 否则 的话 呢 他 就 应该 有 一个 高 一点 的

R 方 就 可以 被 这个 运动 方向 的 这个 编码 模型 所 解释 了 所以 当时 呢 我们 的 观察 呢 就 发现 了 有 两类 的

神经元 那 作为 这些 这个 真实 的 对 我们 这个 写字 有 稳定 响应 的 这些 神经元 来说 呢 有 至少 出现 了

两类 神经元 啊 第一类 呢 他 可能 是 有 这个 方向 的 一个 响应 的 一个 特性 第二类 呢 他 基本上 呢

看不到 他 的 一个 方法 这个 方向 的 这个 特性 那 这个 呢 就是 刚才 我们 说 的 这个 第二类 神经元 的 这个

例子 上面 呢 就是 第一类 神经元 的 例子 我们 呢 其实 这个 是 想 仿照 这个 这个 视觉 他们 的 这个 概念 啊

我们 把 第一类 神经元 呢 就 简单 叫做 简单 神经元 啊 这个 也 是 当时 那个 视觉 区 的 他们 的 一种 啊 这个

命名 的 一个 方法 那 第二种 神经元 呢 我们 有点 看不懂 的 那 我们 就 叫 他 这个 复杂 神经元 啊 就 叫 他

复杂 神经元 那么 接下来 其实 我们 的 重点 呢 就是 想 去 理解 这些 复杂 神经元 了 因为 如果 我们 能 理解 了

这些 复杂 神经元 呢 那 我们 就 可以 把 他们 这些 发放 用 起来 如果 能 把 他们 用 起来 呢 我们 就 可能 能 获得

更加 稳定 的 这 样子 的 一个 书写 的 一个 轨迹 了 那 接下来 我们 怎么 做 呢 我们 之前 呢 想 假设 就是 这些

复杂 的 这个 神经元 呢 当然 从 刚才 的 这个 数据 上 我们 也 看到 啊 感觉 这些 复杂 的 神经元 它 的 这个 偏好 的

方向 的 变化 不是 随机 的 好像 不是 他们 说 的 这种 非纹性 的 随机 的 这样 的 一个 变化 它 只不过 呢 好像 是 不

太 符合 前面 的 这个 这个 这个 固定 的 这个 偏好 方向 它 的 偏好 方向 可能 是 会 变 的 但是 呢 我们 就 想

呢 既然 它 不是 随机 变 的 我们 能 不能 找到 它 的 变化规律 那 基于 这 样子 的 一个 想法 呢 我们 就 构建 了 这 样子 的 一个

这个 计算 的 一个 方法 这个 我们 管它 叫 这个 Temp oral Func tional Clus tering 那 这个 事情 是

在 做 什么 呢 实际上 呢 就是 想 找 哪一块 啊 就是 比如说 这写 这个 万字 这个 过程 中 那 这 是 一个 长 的

一个 时间 序列 那 在 这个 时间 序列 里面 呢 哪一块 呢 是 具有 一个 稳定 的 func tion 的 就 换句话说

呢 比如说 在 1 的 这 一段 里 那么 它 的 这个 func tion 呢 就是 稳定 的 就是 比如说 呢 它 的 这个 偏好

方向 是 不变 的 但是 从 1 到 2 的 过程 中 我们 允许 它 进行 了 一个 切换 比如说 在 1 的 过程 中 它 可能

偏好 方向 是 向 左 的 但是 它 到 了 2 的 阶段 它 可能 是 向 右 的 但是 它 可能 2 的 阶段 里面 也 是 稳定

的 那 到 下 一个 也 可以 再 去 换 我们 认为 它 有 可能 偏好 方向 会 随着 时间 进行 一个 变化 那么

基于 此 呢 我们 就 提出 了 这 样子 的 一个 这个 剧类 的 一个 方法 那 这个 和 传统 的 剧类 方法 相比 呢 就是

最大 的 一个 不同 呢 就是 传统 的 这个 剧类 方法 呢 其实 是 对 数据 进行 剧类 那么 我们 这个 剧类 的

方法 呢 实际上 呢 是 对 这个 x 和 y 之间 的 关系 换句话说 呢 是 对于 这个 func tion 进行 一个 剧类

所以 呢 这个 是 一个 这个 func tional 的 一个 剧类 的 一个 方法 通过 这样 的 一个 方法 呢 我们 就 可以 把

这个 写 每 一个 字 它 的 这个 神经 信号 进行 一个 这个 这个 分段 了 这个 是 我们 分段 的 一个 结果 那

在 这个 里面 的话 呢 不同 的 颜色 呢 就是 实际上 代表 了 这个 不同 的 段 那 这个 我们 管它 叫 state 就 管

它 叫 状态 好 那么 在 这个 里面 的话 呢 我们 发现 啊 就是 首先 比如说 万字 哎 他 可能 呢 就是 会 分成

了 不同 的 一个 状态 整个 的 这个 书写 过程 其实 是 一段 一段 的 然后 呢 在 这个 写 不同 的 字 的 时候 呢 我们

也 把 这个 状态 可视化 出来 看 了 一下 那 首先 这个 也 字 写 了 三遍 我们 会 发现 呢 这个 三个 也 字 好像 它 的

这个 状态 序列 哎 还是 很 相似 的 他 字 也 是 写 了 三 三遍 那 它 的 这个 分割 的 这个 状态 序列 呢 也 是

比较 基本上 是 一致 的 还有 像 等等等等 那么 这个 同时 的话 呢 其实 这 里面 还有 一些 比较 有趣 的

一些 规律 啊 就 比如说 这个 数弯钩 这个 也 字 呢 有 一个 数弯钩 这个 他 字 呢 也 有 一个 数弯 钩 哎 他

的 这个 状态 的 这个 序列 呢 也 有 一定 的 相似性 虽然 呢 这 两个 这个 数弯 钩 呢 他 的 这个 这个 长度 啊 速度 啊

这 是 很多 的 这个 参数 是 不 一样 的 但是 呢 他 的 这个 状态 序列 呢 是 有 一定 的 一个 相似性 的 那 有 了

这 样子 的 一个 分段 呢 接下来 我们 做 的 一个 事情 是 什么 呢 我们 去 重新 审视 了 我们 刚才 说 到 的 这个 简单

神经元 和 复杂 神经元 我们 看到 有 了 这个 分段 以后 那 是不是 呢 这 两种 神经元 呢 在 不同 的 这个 段 就是

不同 的 这个 状态 下 可能 会 有 不同 的 表现 首先 呢 我们 看 了 一下 刚才 我们 说 的 简单 神经元 就是 有 这个 方向

调制 的 这些 神经元 那 如果 不 考虑 我们 的 分段 的话 呢 它 的 这个 这个 这个 调节 的 这个 曲线 是 这 样子

的 啊 它 对 这个 一个 方向 最 敏感 那么 接下来 呢 我们 把 它 的 整个 的 这个 神经 信号 呢 分成 了 刚才

按照 我们 刚才 的 这个 TFC 算法 呢 分成 了 十段 分成 了 十段 以后 呢 把 每 一段 它 的 这个 这个 调写

曲线 呢 我们 都 画 了 出来 就是 在 这里 了 啊 这个 每 一条线 呢 就 代表 每 一个 这个 这个 段 就是 每 一个

state 下面 它 的 这个 偏好 方向 我们 会 发现 呢 在 每 一个 这个 state 下面 就 在 每 一个 状态 下面 它

的 这个 偏好 方向 其实 是 一致 的 但是 呢 又 不 不 完全 一样 什么 东西 不 一样 呢 它 的 这个 最大 发放 率

还是 不 一样 的 换句话说 呢 虽然 呢 它 是 有 一个 一致 的 这个 偏好 的 一个 方向 但是 呢 在 不同 的 这个 状态 下

实际上 它 还是 有 不同 的 调制 模式 这个 是 第一类 神经元 但是 呢 由于 它 其实 在 不同 的 这个 这个 状态 下 偏好

方向 是 一致 的 所以 呢 你 不 考虑 这个 状态 的 分段 也 没关系 它 也 是 会 出现 一个 相对 一致 的 这个

偏好 方向 这 样子 的 一个 结果 好 那 接下来 呢 我们 再 重新 去 看 第二类 这个 神经元 就是 这个 复杂

神经元 复杂 神经元 感觉 就 比较 有趣 了 首先 呢 我们 把 它 呢 就是 在 这个 十个 这个 状态 下 它 的 这个

这个 这个 刚才 说 的 这个 方向 调节 曲线 全画 出来 发现 呢 不 一样 啊 全都 不 一样 在 每 一个 这个

这个 状态 下 呢 它 都 有 一个 自己 的 这个 相对 稳定 的 它 的 偏好 方向 但是 呢 在 不同 的 状态 下 它

的 这个 偏好 方向 呢 是 有 一个 很大 的 变化 的 那 因此 呢 对于 这 一类 神经元 如果 你 不 考虑 刚才 这个 状态 的

一个 划分 啊 就 把 所有 的 数据 一块 拿 过去 去 计算 它 的 偏好 方向 呢 你 就 会 发现 它 就 没有 一个 比较

明确 的 偏好 方向 了 那 在 这个 整个 的 这个 观察 过程 中 呢 你 就 会 发现 这 样子 一个 神经元 它 的

偏好 方向 一会儿 往 左 一会儿 往右 对 吧 就 会 出现 这 样子 的 一个 现象 那么 那 但是 的话 呢 通过 这

样子 的 一个 这个 状态 划分 的 一个 方式 呢 我们 呢 就 可以 比较 良好 的 把 这个 这个 神经元 他 的 这些

这个 这个 偏好 方向 刻画 出来 那 这个 地方 呢 也 给 我们 一个 比较 有趣 的 一个 启示 那 之前 呢

就是 前人 就是 我们 现在 的 这个 基础 啊 就是 这个 偏好 方向 编码 的 这个 模型 这个 偏好

方向 编码 的 这个 模型 呢 可能 是 什么 呢 就 可能 呢 他 是 一个 分段 的 一个 编码 模型 就是 传统 的 这个

编码 模型 呢 他 没有 考虑 这样 的 一个 分段 效应 因此 的话 呢 才 会 出现 了 一些 哎 刚才 我们 说 的 就是

很多 的 神经元 解释 的 不能 解释 以及 的话 呢 最好 的 一些 神经元 呢 其实 也 解释 不了 超过 50% 的 他

的 这个 神经元 活动 但是 的话 呢 当 我们 把 这 样子 的 一个 一个 模型 啊 就是 把 这 样子 的 一个 编码 模型

我们 把 它 扩展 到 刚才 我们 说 的 分段 的 这 样子 的 一个 方向 编码 模型 模型 以后 呢 我们 会 发现 啊 就是 对

大部分 的 这个 神经元 来说 他 的 这个 刻画 能力 就是 可 解释性 的 都 会 有 一个 比较 明显 的 一个 提升 那

这个 呢 还是 刚才 的 我们 的 这个 两个 图 就是 这个 我们 这个 神经元 的 这个 分析 的 一个 图 那 当 我们

使用 这种 分段 的 这个 线性 的 这个 方向 编码 模型 以后 呢 我们 会 发现 呢 这个 神经元 的 这个 可

解释性 都 提升 了 那 刚才 的话 呢 这个 红 的 和 这个 蓝 的 还 会分 的 比较 开 那 在 这 里面 的 红 的 和 蓝 的

哎 基本上 都 是 有 一个 比较 明确 的 一个 这个 特性 同时 呢 大家 有没有 注意 到 就是 这个 纵轴 啊

在 这个 纵轴 的 这个 R 方 这个 地方 呢 是从 这个 0 到 0.4 但是 呢 通过 我们 这个 编码 模型 的话 呢

这个 地方 已经 是 到 了 1.0 了 那 有 很多 的 这个 神经元 呢 他 的 这个 神经 活动 的 这个 可 解释性 呢 就是

可以 提升 到 了 这个 0.8 啊 甚至 反正 0.6 以上 总之 呢 就是 可 解释性 呢 有 一个 比较 大 的 一个 提升 那

从 统计 上 的话 呢 基本上 对 这个 popu lation 神经元 的 这个 二方 的 提升 呢 提高 了 这个 百分之二百 之度 那

其实 呢 主要 呢 就是 把 原来 的 这个 方向 编码 的 一个 模型 扩展 到 了 一个 分段 的 方向 编码 的 这 样子 一个

模型 当中 那有 了 这 样子 的 一个 这个 神经 编码 的 一个 基础 那 我们 呢 其实 呢 对于 这个 解码 模型 的

设计 呢 就 更加 的 有 地方 使 了 我们 就 知道 原来 它 这个 是 一段 一段 编码 的 那 所以 呢 我们 就要 一段 一段 的

去 解码 那 怎么 去 一段 一段 的 去 解码 呢 那 这 就是 其实 我们 之前 提出 来 的 这个 这个 动态 的 这个 贝耶斯

的 这样 的 一个 解码 框架 了 因为 我们 这个 呢 当时 刚好 呢 就是 为了 这 样子 就是 随着 我 的 神经元

的 这个 神经 信号 的 状态 变化 而 随着 变化 这样 的 一个 方式 去 设定 的 所以 呢 但是 在 早期 的 时候 呢 我们

其实 并不知道 这个 我们 知道 这样 的 动态 的 这样 的 一个 模型 切换 的 方式 会 提高 解码 正确率 但 不

知道 是 为什么 那有 了 这个 基于 书写 的 这个 研究 呢 我们 现在 也 知道 是 为什么 了 我们 也 知道 它 是 什么样

的 情况 下会 切换 我们 甚至 知道 这个 模型 池 啊 它 的 每 一个 模型 都 是 什么样 的 一个 方式 了

那 在 这 样子 一个 情况 下 呢 我们 就 可以 非常 好 的 提升 整个 的 这个 书写 的 一个 解码 解码 性能 那 在 这个

解码 的 过程 中 呢 那 我们 就 知道 它 的 这个 每 一段 应该 是 它 是 什么 样子 的 一个 state 然后 呢 在 不同 的

state 下 呢 我们 给 它 训练 了 这个 每 一个 state 专门 的 一个 解码器 那 随着 slate 的 一个 切换 我们 就 可以 去

进行 这个 一段 一段 这 样子 的 一个 解码 了 那 我们 发现 在 整个 的 这个 解码 过程 中 呢 我们 这个 解码器

呢 也 可以 非常 就是 非常 准确 的 从 神经 信号 去 预测 这个 状态 的 一个 变化 这个 是 我们 这个

真实 的 就是 tfc 算 出来 的 一个 状态 变化 这个 是 我们 真实 解码 的 一个 过程 中 那么 我们 的 这个

状态 的 这 样子 一个 切换 好 那 因此 呢 我们 就 可以 去 就是 刚才 解不 出来 的 这个 脑袋 接口 四个 字 呢 在

这样 的 一个 解码 的 一个 方式 下 就 可以 获得 一个 比较 大 的 一个 提升 那 整个 的 这个 解码 的 这个 准确性

呢 解码 精度 也 提升 了 84% 那 这 篇文章 的话 呢 就是 当时 呢 也 是 比较 幸运 的 被 选择 了 当期 的 这个 nature

human beha vior 的 这个 封面 那 我们 当时 在 设计 这个 封面 的 时候 也 在 也 在 琢磨 啊 就是 我们 当时 在

设计 这个 封面 我们 想 呢 实际上 的 这 是 什么 呢 就是 我们 大脑 里面 呢 有 很多 的 这种 模型 有 可能 他

就是 神经 通路 那 这些 模型 呢 就 相当于 我们 写字 的 时候 呢 有 很多很多 的 调色盘 啊 有 很多很多

的 调色盘 那么 我们 书写 的 这个 过程 呢 实际上 有 的 时候 是 占 了 这个 颜色 有 的 时候 是 占 了 那个

颜色 然后 一段 一段 的 去 书写 的 那 这个 神经 的 一个 机制 呢 有 可能 呢 是 对 我们 的 这个 复杂 的 这种

序列 任务 的 掌握 是 有 帮助 的 就 比如说 我们 写字 呢 其实 每个 人 都 有 自己 的 一个 习惯 甚至 都 有 一个

自己 的 字体 那么 那 比如说 我 写 竖 钩 的 时候 那 大家 可以 想象 啊 写 一个 钩 实际上 呢 它 整个 的 这个

运动 的 序列 是 很 复杂 的 这个 速度 和 这个 方向 都 在 不停 的 一个 变化 但是 我们 去 写 的 过程 中是 非常

熟练 的 那 为什么 呢 有 可能 呢 就是 我们 经常 写 的 这个 经常 去 去 书写 的 这个 序列 呢 我们 大脑 呢 可能 给

他 存 了 一个 这个 他 独特 的 一个 小 单元 就 把 它 存 下来 了 当 你 要 写 勾 的 时候 呢 就 去 调用 了 这么 一个

单元 就 可以 快速 的 而且 准确 的 帮 你 完成 了 所以 呢 整个 的 这个 书写 这个 序列 呢 有 可能 我们 真的

就是 并 不是 按照 这 样子 的 一个 最底层 的 这样 的 一个 轨迹 我们 是 在 在 完成 而是 把 它 一块 一块 就是

分块 化 的 再 处理 使得 整个 的 这个 书写 的 这个 过程 虽然 很 复杂 但是 呢 可以 比较 高效 而且

准确 的 进行 完成 那 整个 的 这个 整个 这个 这个 方法 呢 我们 也 进行 了 这个 在线 实验 的 一个 验证 那

在 这个 里面 的话 呢 就是 我们 的 这个 志愿者 通过 就是 这个 书写 想象 这 样子 的 一个 过程 那 我们 也

解析 了 他 的 这个 脑 信号 并 形成 了 这个 在线 的 这 样子 的 一个 汉字 书写 这 样子 的 一个 应用 示范 那 在 这

里面 的话 呢 就是 我们 当时 给 他 写 的 这个 写 了 八个 字 啊 分别 是 这个 浙江大学 脑机 接口 啊 这 几个 字 其实

还是 比较复杂 的 但是 呢 他 的 这个 数据 轨迹 呢 虽然 也 不是 特别 好看 啊 也 算不上 是 这个 特别 写 的 特别

好 但是 基本上 是 有 一定 的 这个 辨识 度 的 啊 至少 是 可 辨识 的 嗯 好 那 基本上 呢 我 的 这个 分享 的 内容

的话 呢 基本上 就是 到此结束 了 也 感谢 我 的 这个 合作者 和 我 的 这个 同学 们 啊 然后 呢 如果 大家 呢 就是 有 兴趣

的话 呢 也 欢迎 联系 我们 然后 我们 也 这个 常年 招 这个 这个 博士生 硕士生 以及 的话 呢 科研 助理

现在 也 可以 招 博士后 所以 大家 如果 有 兴趣 或者 有 问题 的话 呢 也 欢迎 联系 我 好 感谢 谢谢 曲队 老师

非常 精彩 的 报告 啊