AI能剪视频了? 用Skills自动把课本例题转成科普动画
By 技术爬爬虾 TechShrimp
Summary
Topics Covered
- 纯文本提示生成专业动画视频
- Remotion将视频创作转为React强项
- 多Skills协同处理复杂PDF任务
- 自然语言快速创建自定义TTS技能
- 全自动课本转动画讲解Agent
Full Transcript
AA 编程 工具 搭配 Skills 已经 具备 了 制作 完整 动画 视频 的 能力 比如 我们 现在 看到 的
这些 视频 都 是 借助 Skills 自动 生成 的 不 需要 任何 视频 软件 也 不 需要 任何 的 视频 素材 仅仅 使用 纯
文本 的 提示 词 就 能 从零开始 创建 专业 的 动画 视频 我 使用 了 三个 Skills 加 一个 MCP 搭建 了 一个 全自动
把 课本 立题 转换成 动画 讲解 视频 的 A - Agent 绿色 箭头 表示 重力 蓝色 箭头 表示 绳子 的
拉力 本期 视频 是 个 手把手 的 完成 教程 我们 来 看看 怎么 从零开始 搭建 这个 Agent Remo tion
是 一个 使用 代码 以 编程 的 方式 创建 视频 的 框架 它 的 基本原理 是 先 构建 出 一个 网页 然后 再 逐帧
录制 成 视频文件 现阶段 的 AA agent 都 非常 擅长 编写 代码 但是 非常 不 擅长 操作 像 AE 、 Prem iere
这些 复杂 的 图形 类 的 视频 软件 因此 Remo tion 成为 了 AA 视频剪辑 的 完美 解决方案 它 可以 把 视频 创作
转换成 编写 react 的 组件 也 就是 AA 的 强项 上面 来 随着 最近 Skills 的 大热 Remo tion 团队 也 推出 了
Remo tion 这 是 给 AIAa gent 的 一个 专业技能 包 可以 教会 AIA 如何 准确 的 使用 Remo tion
框架 来 制作 视频 在 之前 的 视频 里面 我们 介绍 了 Skills 的 概念 与 技术 原理 本期 视频 我们 直接
进入 实战 我 新建 了 一个 项目 文件夹 然后 我们 使用 Tree 打开 然后 我们 来到 Remo tion
Skills 的 代码 仓库 点击 这里 的 down load 按钮 把 整个 代码 库 下载 一下 然后 把 里面 的 Skil lsRe
motion 这个 文件夹 提取 出来 我们 把 它 打包 成 一个 .
zip 的 压缩文件 接下来 我们 来到 tree 在 设置 里面 找到 规则 和 技能 选择 项目 级别 创建
技能 然后 选择 这个 zip 压缩包 这样 这个 skill 就 添加 成功 了 然后 我们 来到 tree 的
solo 模式 接下来 输入 我们 的 提示 词 使用 remo tion best prac tice skill 创建 一个 马年
祝福 的 视频 生成 一些 轻松 的 SVG 图片 画面 要 丰富 喜庆 一些 Solo 先是 调用 了 Remo tion
Best Prac tice 技能 获取 了 如何 创建 Remo tion 项目 的 相关 知识 然后 他 对 任务 进行 了 拆分
并且 分 步骤 执行 Solo 先 初始化 了 Remo tion 项目 创建 了 SVG 组件 然后 安装 依赖
最后 把 项目 启动 起来 浏览器 这边 就 自动 打开 了 remo tion 的 页面 我们 的 动画 视频 就 可以 播放 了
效果 还是 不错 的 基本 需求 都 满足 了 不过 有个 问题 是 这个 码画 的 比较 抽象 让 AA 用 SVG 画码
确实 有点 难度 所以 我 在 Public 文件夹 里面 放 了 一个 码 的 素材 让 Solo 帮 我 修改 一下 不要
再用 SVG 了 换成 我 的 图片 很快 Solo 完成 了 修改 这次 效果 就 看着 很 不错 了 我们 再 来看 一个
例子 使用 Remo tion Best Prac tice Skill 复刻 一下 这个 动画 这是 一个 三角函数 的 教学
动画 视频 我 只是 截取 了 这么 一张 图 只 需要 这么 简简单单 的 一张 图 不 需要 过多 的 解释 A 就 能 正确 的
推理 出 我 的 需求 明白 这个 动画 要 展示 什么 内容 很快 solo 就 完成 了 第一版 动画 的 开发 我
看到 第一版 的 动画 还有 一些 问题 我 又 跟 A 交流 了 几轮 让 他 调整 面积 区域 调整 线段 的 颜色
然后 调整 图形 的 位置 等等 最后 solo 为 我们 完成 了 完整 的 动画 效果 相当 的 不错 在 右下角 点击
导出 按钮 就 可以 把 这个 视频 导出 成 一个 MP4 文件 从 上面 的 例子 可以 看出 remo tion
非常适合 做 科普 动画 例题 讲解 接下来 我 想 搜集 一些 高中物理 的 例题 让 他 帮 我 生成 对应 的 讲解
动画 在 github 上面 有 一个 开源 项目 里面 整理 了 各个 学习 阶段 的 课本 教材 不过 这些 教材 都
是 pdf 格式 的 对 AA 非常 的 不 友好 我 需要 一个 skill 来 帮助 AA 处理 pdf 文件 在 anth ropic
官方 维护 的 skills 仓库 里面 有 一个 pdfs kill 这是 一个 交给 AA agent 处理 pdf 文件 的
专业 进入 我们 可以 来到 这个 Github 仓库 把 Skill 下载 下来 导入到 Tray 里面 接下来 我 还
需要 一个 MCP 工具 帮 我 自动 下载 教材 的 PDF 到 项目 的 目录 我们 来到 Tray 的 设置 页面 MCP
搜索 Github 来 安装 Github 的 官方 MCP 这里 我们 需要 先 获取 一个 Github 的 Token 点击 这个
链接 选择 创建 Clas sicT oken 随便 起个 名字 然后 在 下面 勾选上 Repo 的 权限 填写 到 配置
里面 这样 就 完成 了 MCP 的 安装 然后 我们 还是 回到 Solo 开启 一个 线 输入 提示 词帮 我 去 这个
仓库 下载 高中物理 必修 二 的 教材 放到 项目 目录 然后 调用 pdf skill 来 获取 教材内容 帮 我 找 一个
原型 运动 的 例题 solo 先是 调用 mcp 查询 项目 内容 打开 了 高中物理 人教版 这些 文件夹 找到 了
必修 二 的 教材 然后 solo 编写 了 一个 专门 用于 下载 文件 的 脚本 调用 python 脚本 成功 下载 到
了 教材 的 pdf 文件 接下来 solo 主动 调用 了 pdf 技能 他 通过 pdf 技能 获取 到 了 如何 使用
python 脚本 解析 PDF 文件 的 相关 知识 然后 他 编写 了 一个 专门 的 python 文件 来 进行 检索 过程
非常 的 丝 滑 Seed 2.0 模型 知道 什么 时候 应该 使用 哪个 skill 体现 了 多 skills 和 复杂
skills 场景 下面 强大 而 准确 的 调用 能力 能 很 好 的 应对 复杂 长城 任务模型 还会 主动 编写 python
脚本 解决问题 在 数据分析 数据检索 场景 下面 表现出色 Solo 找到 了 两个 圆形 运动 的 例题 接下来 我们
输入 进一步 的 提示 这个 圆锥 摆 的 立体 不错 借助 Remo tion Best Prac tice 帮 我 生成 一个
3D 的 动画 视频 注意 要 有 受力 分析 Solo 对 任务 进行 了 拆分 并且 一步步 的 完成 我们 看到 它 第一版
动画 有点 问题 首先 是 受力 分析 的 线 画 反 了 第二个 问题 是 前 10 秒 小球 都 没有 动 我 把 这 两个
问题 让 AA 再来 修复 一下 过 了 一会儿 就 完成 了 修复 这次 看起来 好多 了 接下来 我用 跟 AA 沟通 的
几轮 让 它 加上 解题 过程 调整 摄像机 的 视角 然后 让 受力 分析 的 箭头 随着 角度 增大 而 变化 Solo
也 都 成功 完成 了 任务 看起来 效果 不错 这个 科普 视频 看起来 已经 很 不错 了 如果 能够 配 上 解说
那 就 更 棒 了 我 在 GitHub 上面 检索 了 一圈 目前 还 没有 非常 好用 的 AA 配音 的 Skills 不过
这个 也 不难 Tree 里面 内置 了 创建 Skills 的 功能 我们 可以 根据 自己 的 需求 使用 自然语言 对话
创建 出 属于 自己 的 Skills 这里 我们 输入 提示 词 创建 一个 名字 叫做 TTSS kills 核心 功能 是
调用 火山 引擎 的 文字 转 语音 API 将 文本 转换成 语音 后续 我 做 视频 的 时候 需要 这个 Skills
然后 我们 来到 左侧 菜单 的 豆包 语音 妙计 模型 音频 生成
语音 合成 找到 最 下面 的 Appid 还有 Assess Token 把 这 两个 值 复制 一下 填写 到 Skills 的 描述 里面
然后 我 告诉 AE 环境变量 已经 填写 到 Skill . md
. md 文件 里面 了 你 测试 一下 脚本 Solo 成功 调用 了 脚本 生成 了 一个 测试 的 音频文件 这样 一个
文字 转 语音 的 Skill 就 搭建 完成 了 这里 我 输入 提示 词 使用 TTSS kill 给 圆锥 摆 3D 动画 配 上 解说 音 注意
要 调整 动画 的 时间 长度 来 适配 音频 的 长度 Solo 把 任务 拆 分成 了 5 个代半 然后 逐项 完 过 了 一会儿
solo 完成 了 任务 我们 来看 一下 最终 的 效果 绿色 箭头 表示 重力 蓝色 箭头 表示 绳子 的
拉力 在 圆锥 摆中 向心力 由 重力 和 拉力 的 合力 提供 第一步 向心力 fn 等于 mg 正切 fh 第二步
向心 加速度 n 等于 fn 除以 m 也 就是 g 正切 fh 本期 视频 的 工程 文件 还有 skills 我 都 上 传到
了 这个 gitup 仓库 里面 感兴趣 的 观众 朋友 们 可以 下载 下来 玩一玩 本期 视频 我们 搭配 使用 3
个 Skills 加 一个 MCP 搭建 了 一个 全自动 把 课本 立体 转换成 动画 讲解 视频 的 AEA Agent 本期
视频 就 到 这里 感谢 大家 点赞 支持 我们 下期 再见
Loading video analysis...