LongCut logo

别再用 Ollama 了!OpenClaw 秒级响应方案(vLLM + 本地模型)完全免费!| 零度解说

By 零度解说

Summary

Topics Covered

  • Ollama单卡部署速度慢5-数十倍
  • 单卡推荐VLLM性能最强
  • Qwen2.5中文Agent能力最佳
  • 免费本地模型胜过付费Token

Full Transcript

大家 好 这里 是 人主 解说 如果 你 还 在 用 Olema 给 Open Cloud 跑 本地 模型 那 你 的 速度 可能

不止 慢 了 5 倍 甚至 是 数十倍 因为 Olema 的 天生 推力 颜值 比较 高 在 Open Cloud 这种 需要

频繁 工具 调用 的 场景 下 往往 会 导致 模型 的 回复 速度 非常 慢 任务 词情 非常 卡断 工具 调用 也

很 容易 出错 上下文 长度 经常 会 报 耗尽 任务 跑 着 跑 着 就 突然 不够 用 了 而 照着 这种 问题 的 原因

很多 的 时候 不是 因为 模型 的 问题 也 不是 你 的 硬件 不够 而是 我们 的 推理 框架 选错 了 现在 我们

只要 换 一个 更 合适 的 推理 框架 就 可以 彻底解决 这个 问题 那么 该 如何 选择 更 合适 的 推理 框架 呢 目前

主流 的 选择 有 两个 如果 你 是 服务器 多卡 集群 环境 那么 推荐 使用 SG - Long 当然 如果 你

跟 我 一样 是 单卡 本地 部署 这 也 是 很多 人 普通人 会 用到 的 比如 大家 对象 是 N 卡 或者 A 卡 或者 是

Mac mini 工作 账 等等 那么 我 更 推荐 VLLM 目前 来看 VLLM 可以 说 是 单卡 部署 大 模型 性能 最强 的

推力 框架 之一 很多 企业 集 的 AI 产品 其实 都 是 基于 VLM 来 部署 模型 的 所以 在 这期 视频 里 我 就

带 大家 一步 一步 完成 三件 事情 第一步 就是 部署 VLM 然后 第二步 就 运行 本地 大 模型 第三步

就 把 模型 完整 对 接到 Open Cloud 上去 让 你 的 Open Cloud 运行 的 速度 更快 更 稳定 上下 完 也 更长

好 在 开始 之前 首先 我们 去 打开 零路 膜 上 这 篇文章 这个 链接 我 发到 视频 下方 打开 以后 再

往下拉 上面 有 我们 接 索取 的 全部 资料 首先 我们 需要 做点 前期 准备 就 在 开始 安装 之前 我 建议

大家 安装 下 这款 Wind ows 的 中端 管理程序 它 可以 方便 我们 快速 切换 不同 的 系统 那么 进行

下载 按键 安装 下 打开 以后 上方 下载 按键 安装 下 下载 好 以后 上方 进行 安装 下 它 上方 显示 已

安装 最新 版本 那么 你 打开 它 打开 以后 上方 正式 开始 安装 首先 第一步 我们 去 安装 这个

WSL 就是 微软 推出 的 第二代 Wind ows 0.4 的 纸 系统 我们 先 把 它 安装 面 改革 备 出来 点击

复制 复制 好 以后 重新 回到 Wind ows 中档 里 进入 鼠标 右键 的 账 贴下来 安装 这个 Wind

ows 纸 系统 所以 我们 回来 确认 一下 这样的话 它 开始 安装 Wind ows 纸 系统 了 这个 安装 过程

的话 可能 需要 点 时间 到 之前 那些 等待 下 安装 好 以后 它 上面 会 显示 操作 成功 完成 现在 需要

重启 电脑 才 可以 生效 在 重启 电脑 之前 你 最好 收藏 一下 担心 我 这个 教程 否则 一会儿 你 就

找 不到 了 重启 以后 那 现在 需要 在 里面 安装 下 的 Linux 系统 比如 我们 安装 Ubuntu 就 可以 了 那

现在 重新 回到 干燃 铁子 下 把 这 行李 拔出来 就 在 里面 安装 下 的 Ubuntu 纸 系统 接下 我们

鼠边 右键 粘贴 一下 安装 在 系统 好 这样的话 它 就 开始 下载 币 安装 在 Ubuntu 系统 了 我 稍 等 一会 马上 就

完成 了 然后 它 在 里面 创建 一个 用户名 也 是 零度 当然 应该 自定义 那么 确定 一下 接下来 我们

需要 输入 一下 密码 这个 密码 输入 以后 它 是 破 写 的 自己 一定 要记 着 那么 确定 一下 那

接下来 再 确定 一下 密码 重新 再 输入 一遍 好 这样的话 它 就 安装 成功 了 安装 好 的 纸 系统 以后 接下来

我们 需要 在 里面 确定 一下 这个 显卡 的 确定 安装 成功 我们 输入 这个 命令 来看 一下

Linux 的 纸 细桶 里 这个 显卡 有没有 自动 过去 当然 在 里面 看到 这个 信息 的话 那 说明 就 没 问题

的 说明 这个 GPU 它 已经 自动 成功 了 那 现在 我们 直接 第三步 就是 安装 Python 环境 那 现在 我们

需要 把 这个 系统 去 更新 一 下来 Copy 下 命令 那 这 重新 回到 刚刚 的 纸 细桶 里 我们 左边 右键 粘贴 下

这个 更新 命令 接着 它 需要 我们 输入 密码 就是 纸细桶 密码 好 这样的话 它 就 开始 下载安装 更新 好

了 把 它 更新 完成 以后 那 现在 我们 需要 安装 下 Python 环境 把 这下 命令 给 它 Copy 出来 点击

复制 回来 粘贴 一下 确认 一下 这样的话 它 就 开始 在 这个 0.0 系统 里 安装 这个 Python 环境 了

安装 好 以后 现在 我们 需要 切换 到 0.0 系统 里 我们 输入 这个 命令 输入 后要 确认 一下

现在 我们 看 一下 我 单线 的 目录 我 的 目录 是 这个 Home 然后 是 这个 零度 当然 应该 是 不 一样 的 这个 无所谓

进入 了 目录 以后 来 创建 一个 虚拟环境 反过来 刚才 点 了 一下 通过 这个 命令 来 创建 点击 Copy 一下

然后 我们 进入 右键 粘贴 一 下来 创建 虚拟环境 创建 好 以后 进入 这个 环境 通过 这 行 命令 进入

虚拟环境 里 锁边 锁边 锁边 锁边 粘贴 确认 一下 这样的话 就 可以 进入 虚拟环境 里 了 进入 以后 我们

执行 第四步 就 安装 这个 VLM 把 这个 安装 命令 给 它 Copy 出来 第一个 Copy 一下 Copy 好 以后

我们 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边

锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边

锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁边 锁 因为 我 当天 显卡 的 显存 是 24GB 的 所以 目前 这个

千万 2.5 Gbps 模型 是 最好 的 选择 因为 它 对 中文 理解 比较 强 而且 最 关键 是 它 agent 能力 比较 好

支持 更 全面 的 工具 调用 能力 非常适合 Omen Claz ard 使用 当然 如果 你 的 显卡 显存 是 24GB 的 那么

可以 选择 更 小 的 模型 比如 这个 7Bps 的 或者 4Bps 的 都 可以 那 我们 正式 启动 这个 VLM

服务 只 需要 通过 下方 这个 命令 就 可以 了 但是 如果 需要 修改 模型 的话 那么 只 需要 修改

第二行 把 这个 模型 替换 其他 的 这里 我 选择 千万 2.5 Gbps 模型 那么 可以 copy 出来 快遍 好

以后 重新 进入 到 直 系统 里 基本上 右键 粘贴 一 下来 启动 VLM 服务 输入 好 以后 我们 确认

一下 这 两个 图 在 VLM 的 框架 下来 下载 这个 模型 了 因为 这个 模型 比较 大 总共 将近 10 个

G 左右 我们 稍 等 一会 当 我们 看到 这个 信息 的话 说明 这个 模型 它 已经 安装 成功 了 我们 现在

可以 验证 一下 在 中 端下来 输入 这个 命令 来看 当前 的 模型 信息 这里 我们 输入 Y 这时候

没 看到 它 这 就 会 显示 当前 的 模型 信息 了 到 这边 的话 那么 这个 本地 模型 我们 就 下载 部署

成功 了 然后 接下来 我们 就 执行 第八步 就 安装 这个 Open Cloud 这里 需要 注意 的 是 我们 需要 在 这个 纸

系统 里 执行 安装 命令 如果 没有 在 里面 安装 这个 NodeJS 的话 那么 需要 把 这个 安装 命令

夹复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复

复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复 复复

复复 复复 复复 复复 复复 � 底下 有个 下架 箭头 就 可以 在 里面 看到 这个 Ubuntu 系统 了 就 打开

它 打开 以后 现在 在 里面 输入 命令 Open Cloud Onbo ard 来 进入 配置 页面 打开 以后 再 来 选择

yes 确认 一下 安装 模式 我们 选 第一个 就 quick start 然后 模型 服务提供商 这里 要 注意 了 一定 要

选择 下面 有 一个 自 定 提供商 就是 Cast Time Prov ider 这 的话 就 我们 确认 一下 然后 这个

BaseUr 地址 我们 修改 一下 改成 我们 自己 的 就 改成 这个 端口 是 8000 的 然后 后面 更加 上 的

Gun1 所以 我们 确认 一下 然后 这个 ABI Key 的话 我们 可以 选 第一个 就 随便 填写 一个 就

可以 了 比如说 1234 5678 确认 一下 然后 接种 点 我 选 第一个 就 通过 OpenAI 的 接种 点来 进行 对接 接

第一个 确认 一下 模型 ID 这 不要 搞错 了 每个 人 是 不 一样 的 我 的 这个 我 千万 2.5 这个 14 笔

模型 这里 到处 根治 情况 再 选择 的 模型 ID 确认 一下 这样 它 上方 会 显示 这个 验人 成功

那么 确认 一下 然后 这部 它 自 定下 模型 名称 那么 自 定下 确认 一下 就 可以 了 这 一步 它 让 我们 对

接着 第三方 的 聊天工具 我们 可以 对 接着 Tele gram 然后 输入 Tele gram 的 Token 我们 在

里面 对接 一个 现在 我们 在 电脑 上 搜索 的 机器人 就是 boot father 就 别搞 出 了 打开 以后 在 里面

创建 一个 新 的 机器人 我们 输入 鞋盖 New boot 来 创建 一个 新 的 机器人 这样 我们 设置

一个 机器人 的 名称 可以 随便 自 定 一下 那 现在 需要 自 定 一个 机器人 后面 跟上 boot 一点 跟上 boot

才 可以 我们 确认 一下 这样的话 就 可以 帮 我们 创建 一个 Token 了 先 把 Token 给付 出来 把 Token

添 进来 确认 一下 然后 这个 搜索 服务器 用商 我们 可以 跳过 先 不用 到时候 以后 再说 那

安装 Skills 这个 倒 是 Gensi 情况 选择 你 需要 两个 键 安装 两个 就 可以 了 可以 通过 键盘 上 的

空键键 去 选择 选择 好 以后 我们 确认 一下 安装 过程 我们 确认 一下 这个 谷歌 API Key

我们 不用 全 LowU nabl eHooks 我们 跳过 它 然后 Start 从 前往 过 然后 启动 模式 的话 我们 选 第一个

TOI 会 更加 稳定 好 这样的话 就 安装 成功 了 然后 现在 我们 可以 通过 这个 地址 来 访问 一下

打开门 链 起来 看 一下 好 这样 就 可以 了 它 上面 就 会 显示 单线 模型 了 就 看 他们 对接 这个 千万 2.5

模型 然后 现在 我们 测 一下 效果 有 输入您 好 请 自我介绍 一下 大家 看 一下 这个 输入 极快 的 绝对 是

免 回复 的 然后 现在 在 里面 安装 一些 BB 的 Skills 这样 会 方便 我们 使用 到 这里 打开 链接

下载 一动 我 安装 一下 这个 有 一个 Finds skills 然后 现在 我们 就让 这 机器人 帮忙 安装 到

Skills 把 名称 发给 它 这样 它 可以 自动 帮 我们 安装 了 它 是 完全 可以 自动 帮 你 安装 的 非常 的 省心 这 需要

几秒钟 它 就 可以 帮 我们 搞定 了 同样 我 可以 通过 Tile Guard 来击 控制 先 打开 我们 看 创建 好 的

机器人 点击 这个 机器人 打开 它 打开 用意 开始 第一个 进入 以后 我们 需要 通过 这个 配对 码

这个 命令 拿进 配对 一下 否则 的话 是 没法 使用 的 我们 复制 出来 拿下 进入 的 指 系统 里 往

下 右键 粘贴 一下 确认 一下 把 配对 码进 配对 一下 到 上方 系统 是 Appr oved 那 说明 它 已经 配对

成功 了 来 试一下 效果 你好 今天 是 几号 它 上方 显示 正在 输入 那 说明 它 就 成功 了 它 说 你好

今天 是 2026 年 的 3 月 17 号 有 什么 可以 帮助 你 的 吗 当然 它 的 功能 远不止 这些 比如 我 让 它 自动

登录 我 的 网站 后台 帮 我 编辑 网站 页面 内容 或者 是 优化 SU 定时 给 我 发布 文章 创建 这些 工具

这些 完全 自动化 的 任务 都 可以 交给 Open Cloud 来 完成 关键 是 本地 模型 以及 足够 使用 完全 没

必要 去 花钱 购买 的 Token 其实 很多 的 自动化 任务 免费 开源 的 模型 已经 足够 盛容 了 比如 我 这个

网站 完全 是 由 Open Cloud 来 打理 的 网站 内容 和 SEO E化 排名 全部 都 交给 本地 AI 来 完成 的

效果 非常 不错 更 多 好玩 的 大力士 去 尝试 好 今天 视频 所用 的 全部 资料 他们 要 下载 链接 我 都 放在

视频 下方 的 连续 博物 上

Loading...

Loading video analysis...