LongCut logo

【零基础保姆教程】OpenClaw浏览器自动化:从API抓取到 24/7 完全接管

By 木子不写代码

Summary

## Key takeaways - **Web Fetch内置抓取工具**: Web Fetch使用HTTP请求抓取网页并提取正文为干净Markdown,适合公开HTML内容如文章博客,但无法执行JavaScript或处理登录交互。优点是速度快成本低安全不碰个人浏览器,缺点是易受反爬限制看不到登录内容。 [00:21], [01:08] - **Last Thirty Days社交情报**: Last Thirty Days技能广撒网抓取X Reddit Youtube最近30天爆点痛点舆论,通过API搜索并加权总结。优点覆盖三大平台可交叉验证,轻量无需浏览器;缺点需付费API key约0.2美元/次,仅限情报获取不能操作浏览器。 [03:06], [06:15] - **隔离浏览器24/7自动化**: Openclaw管理独立谷歌浏览器实例,有独立档案cookie,可手动登录后24/7稳定运行任何浏览器任务。优点安全隔离不污染日常浏览器、可控有头无头模式;缺点不复用日常插件易触发风控。 [07:29], [08:41] - **Relay插件完全复用档案**: 安装Openclaw Relay Chrome插件复用当前浏览器档案cookie拓展,直接操作已打开网页如分身工作。优点100%复用日常环境信任积累;缺点危险性高需手动激活仅限打开网页不适合24/7长期运行。 [10:57], [12:35] - **四种方案适用场景对比**: 从Web Fetch公开抓取到API技能社交情报,再到隔离浏览器稳定自动化和Relay复用日常操作,每种说明原理优缺点及场景如情报监控或浏览器任务接管。 [00:00], [14:59]

Topics Covered

  • Web Fetch实现无浏览器情报采集
  • Skills监控社交舆论趋势
  • 隔离浏览器24小时自动化
  • Relay复用日常浏览器分身

Full Transcript

你能在浏览器里做的工作 Openclaw都能帮你做 而且24小时不停的做 调研情报学习写作投资信息等等等等 今天我们循序渐进的介绍四种方案 从内置的工具开始 到依赖API 不依赖浏览器的skills 再到隔离用户档案的浏览器自动化 最后到完全接管你 当前浏览器状态的方法 每一个我们都说明白它的原理优点

缺点如何设置以及最重要的适用场景 好的 废话不多说 我们开始 如果你还没有设置Openclaw 不知道选什么机器好 哎 看完这个视频之后啊 去看我的上一个视频 真的非常的简单 好的 首先我们看Openclaw已经 内置的Web fetch节点 它的原理啊 就是一个网页抓取和 正文提取的工具链 它用HTTP请求去抓网页的内容 这是服务端的抓取啊 不依赖于你本地正在用的浏览器

也不会复用你任何浏览器的档案 啊资料啊cookie啊拓展等等等等 它就是把html做正文提取 剥离掉导航栏页脚 广告侧边栏等等的噪音 那么输出的是干净的Markdown 它适合什么呢 它适合所有公开可访问 内容主要在html里面的网页 比方说文章博客公告这些 它做不了什么呢 哎 它不是浏览器 它没法执行Java script

也就是说所有需要登录交互 翻页滚动点击这些它都做不了 它的优点啊 非常的明显 啊 它速度快 成本低 因为它不需要启动浏览器 不需要渲染 它呢 适合24小时长期的扫描 输出更干净 也更安全 因为它完全不碰你的个人浏览器 它不接管你的账户的登录态 那么缺点也非常的明显 它看不到需要登录 需要TOKEN的内容

那么比方所有的社交网络 它呢不能执行Java script 所以需要互动的内容它都做不了 然后呢它呢非常容易受 反爬机制和地域的限制 那么它的价值和适用 场景来自于两个方面 不论是你做生意有 竞争者还是有对标者 还是你想要学习或者某一个网站 那么你都可以 第一时间哎关注到这个网站 爬取这个网站最新的定价的消息

它是不是有发布新的s u的文章 那么它啊有没有调整它的政策 这些你都可以第一时间知道 第二个就是哎 有些公开的信息啊 比方说你关注AI领域 那么Openai Anthropic Gemini 他们的官方的 啊文档 他们官方的网站的最新信息呢 都可以被你抓取到 你可以第一时间知道这些信息 除此之外呢 比方说一些公开的网站 ARCHIVE 如果你读文章的话 还有就是维基百科 hacker news这些网站都可以公开的爬取

它的缺点也是非常非常明显啊 任何的社交媒体上的高价值信息 尤其是需要你登录进去的 有关于你的信息 它都抓取不了 不能够定制化 如何设置呢 哎 完全不需要设置 你安装了Openclaw之后 那webfetch工具就已经安装在内了 那么任何需要网络抓取的任务 没有其他方法的话 它都会默认走webfetch 可以看到这里啊 我 我们让他啊用Web fetch去抓任何

关于Openclaw的啊有趋势的信息 那么由于呢我这里 已经安装了其他的方法 所以如果我不不 指名道姓的用Web fetch的话 他就会去用我浏览器的方法了 那这个我们后面马上会讲到 你可以看到这里他 就会去hacker news上抓取 相关的Openclaw相关的信息给我了 那么用内置工具最大的缺点 就是任何社交网络它都做不了 那么由此我们衍生出第二种方法

也是不依赖浏览器的skills 那么第二种方法我们用的 这个scale叫做last thirty days 本身上我们就可以规定一段时间内 啊 最低抓昨天的 要么就是30天以内最多 我们去抓取社交媒体上 x Reddit Youtube上最新的爆点痛 点舆论趋势等等等等 它只是用来做抓取的这样一个工具 那么它的原理也非常的简单 就是广撒网 然后再聚焦 Reddit上的信息来自于

Openai的网络搜索功能 x上的信息来自于XAI的网络搜索功能 Youtube的信息来自于YTDLP这个开源库 它首先啊先搜索信息 然后对于这些高频的关键词呢 它就会再聚焦subreddit或者是一个账号 再进行二次的补搜 最后啊 根据出现的频率和互动 信号来做加权的总结 它的优点首先第一个就是它三个 主要的社交媒体平台都顾及到了

都抓取了 所以它后面呢 还可以对它们这些信息 的来源进行交叉验证 第二个优点就是它 毕竟不需要浏览器嘛 所以它是个轻量级的方案 它第一个缺点就是它需要API key 就是它不是免费的方案 第二个缺点呢 就是它只能做情报的获取 舆论的监控 爆点痛点的挖掘 对吧 它做不了任何浏览器 需要我们浏览器的操作 比方说鼠标点击呀 啊

比方说帮我们发表文章等等等 他都做不了 那么这个是我们后来两种方法 依靠浏览器的两种方法 马文马上会讲到 这里我提一嘴啊 就是这种依赖API的方法 你完全没有必要用这个开源库 他做的不错 但是呢 你可以完全定义自己的算法 比方说啊3不同的来源 你认为x最重要 那你就对x进行更多的加权 这些呢 算法的制定 你就完全可以通过自然语言跟你

自己的Openclaw的机器人对话的方式 来进行设定你自己的算法 那么关于安装呢 有两种方法 第一种方法就是通过clohub clohub可以看成是Openclaw的市场 里面有各种各样不同的skills 你可以一行命令直接安装这个skill 它的优点就是快速简单 对吧受到官方的支持 缺点就是哎 它呢里面的版本不一定 是这个scale最新的版本 比方在这里啊 啊

我们在我安装的时候呢 它clouhub里面的版本是V1.0这个scale 但是呢 实际上git Hub上我看到它 这个最新的版本是V2.1 啊 所以就引申出来我们的 第二种方法就是如果你想 看安装这个skil最新的版本 但是clawhub上不是最新的 你可以通过Git来安装 这个就要稍微复杂 稍微麻烦一些了 那么具体怎么安装一步一步的 我遇到的问题我都 放在免费的社区里了

大家可以去社区里面免费去拿 还有一点就是安装的时候 一定要多跟你的Openclaw问他问题 因为每个人的环境有所不同 遇到的问题也会有些不一样 最好是问你的Openclaw 而不是网页版的GPT或者是Gemini 因为问他 他很可能在回答的过程中 直接给你把你问题解决了 而不是你还需要去问网页端的 啊 然后网页端GPT给你回答 你再粘贴到这里告诉你怎么操作 由于取决于apikey啊 所以我们还是要在安装完之后

去掉点config last thirty days点env文件 下面填入我们的Openai API的apikey 那么由于它是个付费的这样一个功能 如果我不说多少钱就 显得过说不过去了 对吧 那么每一次深度搜索呢 大概是0.2美元 也是sa i和open i的费用加起来 大概包括Reddit20多个线程 x 啊 30-60个帖子 Youtube大概40个视频左右

每次搜索都会有点不一样 但是大概的费用是0.2美元左右 这里有一个小tips 就是一定不要用它来搜广泛的词 比方说AI这种词 用它搜尽量细致的关键词 比方说Openclaw或者Openclaw setup 这种关键词才会有比较好的效果 比方这里啊 我让他用这个skills 唉 去给我找出这两天之内 大家都在讨论呃关于Openclaw的 比较火的帖子以及痛点 比方说比较火的帖

大家都在讨论安全问题啊可靠性啊 还有就是它记忆的管理以及 啊多个智能体的啊使用案例 那么关于痛点呢 大家都在说 就是更新之后会有一些风险 还有就是可靠性的问题 安全性的问题 等等等等 啊 同时啊 他可以看到 他可以分析不同平台 他发现x上啊是非常强 大家在上面抱怨痛点 Reddit上呢 就会有更多的技术讨论 而Youtube呢 啊

就是各种混在一起 那么到现在为止 我们介绍了两种方法 都是无浏览器的方法 它们呢可以抓取我们想要的信息 不管是社交媒体还不是社交媒体 但是它还不能完全替代我们 人类能在浏览器里做的所有工作 那么接下来我们就要 正式介绍两种新的方法 两种方法都依赖于浏览器 完全模拟人的操作 你能做什么 他们就能帮你做什么 好的 我们来看第三种方式

是由Openclaw管理的浏览器 真正实现24小乘7的浏览器自动化操作 它的原理啊 其实就是Openclaw在我们网关上 启动一个谷歌浏览器的实例 然后呢 你这是独立的用户档案 而不是复用你现有的 浏览器的用户档案 所以呢 它有独立的拓展 独立的cookie 独立的缓存都在这里面 你呢 可以手动的登录一次 你的社交网站之后 就可以一直长期复用了

它的优点就是哎它实现 24小时乘7非常的稳定 只要你的网关是开着的 那么它就可以直接跑 不依赖于你的日常 使用浏览器是不是开着 第二个优点就是它安全边界更清晰 因为它隔离了你的用户档案 它不会污染你平常你用来工作 你自己手动使用的日常浏览器的生态 第三个就是它可控性强 你可以选择有头模式 如果你想要看到图形操作的界面的话 你可以选择有头模式

或者你可以选择无头模式 它自己在后面跑 对吧 它的缺点啊 首先就是复用生态弱 因为它是新的一个用户档案 那么它不带你日常用户档案里 你的浏览器里那些插件啊 那些证书 那些密码管理器等 第二个就是设备的一些风控问题啊 一些站点呢 对你这个新设备 你的新的这样一个用户档案 可能会更加敏感 可能会容易触发额外的验证 那么它的使用场景是什么呢 哎

你用浏览器做的东西都 可以让它自动化来帮你做 只要你设置完之后 哎 用自然语言的方式告诉它 你想要什么时候触发任务 去做什么样的任务就可以了 那么如何设置呢 其实也非常简单 分为三步 第一步就下面的openclaw.json文件里面

第一步就下面的openclaw.json文件里面 然后填入这个关于浏览器的内容 参数直接照抄这里的就可以 然后控制有头和是无头的 是这个这个headless参数 一开始推荐大家是填false 所以是有头的 因为我们还是需要手动的登录 之后你可以登录之后 可以把它调成无头的 那么第二步呢 就是哎我们去重启我们的网关网关 然后呢

我们需要手动的弹出来 用这个命令手动的弹 出来我们的谷歌浏览器 然后呢 第三步 我们在弹出来的网页 里面手动的进行登录 把我们的社交网站所有的x YouTube Reddit 其他的网站都登录一下 登录之后 哎 我们就可以回来 用自然语言的方式给我们的Openclaw命令 让它去帮我们做任何浏览器的操作了 比如这里啊 我首先给他一个任务

就是每天的9点 他要去 诶 帮我生成一个报告 关于openclaw所有的爆点和所有的新闻 那么可以看到他返回给 我们说他任务完成了 每天就早上的9点 哎 都会有这样一个定时的任务进行执行 然后后面我要让他现在 就给我输出一个报告 我们现在先测试一下效果 我们首先看他给我们的热门话题啊

跟啊前面的那个skills也差不多 首先就是安全性的问题 大家都在讨论 另外就是可靠性的问题 还有就是唉记忆的问题 包括是各个多个 智能体之间的协作的问题 那么关于痛点 他发觉就不一样了 他发现了就是在社交媒体上自动化 比方说x平台啊存在一些限制 大家都在讨论这个问问题 然后就是一些啊维修的问题啊 比较复杂

包括安全性 然后他每一个社交媒体啊 都会有一个总结 告诉我他在这个社交媒体上 发现的关于Openclaw相关的话题 大家在这里都在讨论什么 值得注意的一点就是 这种方法能做的事情远 不止于去社交媒体搜集信息 这里我们用这个搜集信息作为例子 是为了更好对比4种不同的方法 但是呢 任何你在浏览器上做的工作 你都可以尝试让Openclaw

浏览器自动化来帮你做 只要你设定好边界和规则 那么第四种方法就是我们也干脆不用 一个单独的浏览器里面的用户档案了 我们直接复用我们现有的浏览器 现有我们的登录 用我们现有工作环境的一切 这里啊 我们就需要安装一个谷歌浏览器插件 那么这个插件的名字叫做Openclaw Relay Relay就是中继嘛 本质上就是我们安装的这个拓展和

我们本地网关之间的交流不是直接的 而是通过本地的中继作为 桥梁来完成数据的传输的 原理不需要懂太多呀 重要的是它的优点和缺点 对吧 那么它的优点 最大的优点就是100%复用我们 当前的啊我们谷歌浏览器的档案 我们的cookie 我们安装过的任何的拓展 我们有的证书等等等等 哎 都可以100%的复用 相当于是带你去操作你日常的工作了

啊 而且呢 哎 你有什么问题你能直接看出来 对吧 就在你的眼前 在你眼底的地下 操作你平常有那些网页 它的最大的缺点啊 首先就是 不得不提的就是危险性 为什么 因为它完全使用你 当前的档案进行操作 啊 有什么问题要出了之后 哎 实际上是影响到你日常的 登录的网页网站等等等等的 第二个点就是它需要一些手动的操作

后面我们会马上设置 你就会看到 实际上每次我们还都要 手动安装了这个拓展之后 还需要手动的打开网页 然后手动的激活这个拓展 才能够生效 第三点就是它只能在你 已经打开的网页上面操作 你没打开的网页它操作不了 它能做什么呢 它直接可以当你的分身 它不仅是自动化 可以自动化工作 而且呢 复用你当前的一切 直接帮你完成工作 同时呢 哎 你你的登录

你日常的使用习惯 你已经在网站积累了一些信任 那么它呢 可以直接在你这个 基础上直接帮你工作 它不能做什么呢 或者它不适合做什么呢 本质上它不是很适合24 小时长期帮你工作 因为你看 它首先只能在你打开的网页上工作 不能去别的网页 对吧 其次 你还要手动点亮啊这个浏览器 激活这个浏览器这个拓展 否则它就不能工作

所以这是比较麻烦的一些点 那么我们如何安装它呢 首先我们来到Openclaw官方文档 大家谷歌搜索Openclaw Chrome extension就会来到这个网页 往下拉有一个安装的一步一步的步骤 我们哎首先复制第一个命令来到终端 粘贴这个命令 然后执行 它会安装 然后给我们一个地址 我们复制这个地址 唉 只要记住这个地址

然后我们浏览器右上角点击拓展 然后管理拓展 打开开发者模式 然后上传未打包的文件 然后呢那个地址吗 还记得吗 哎 大家选择那个地址 打开文件夹之后 它会问你一个TOKEN 对吧 怎么获得呢 我们需要用到这个指令 这个指令比较长 大家可以暂停截图一下 啊 然后让AI识别出其中的文字

这个指令执行之后 我们会得到一个TOKEN 我们复制这个TOKEN 然后粘贴到这里 如何使用 然后可以看到 哎 我们成功了 那么这时候我们打开任意一个网页 比方这里我们以Reddit为例子吧 因为它需要登录 也有比较高的价值 我们这时候点开我们拓展按钮 把它给拼上 然后点击这个拓展 就会看到它有个on 说明生效了 这时候

我们打开的任何网页 只要我们点亮了on 那么我们就可以让我们的 Openclaw在这些网页中执行任何 好那这里之后 我们马上来试一下 我去另外一台机器的diagram里面 我让它去Reddit里面仔细寻找 关于Openclaw的热点和痛点 那么可以看到我在另外一条机器上 它自己对这个浏览器进行操作 它去了这个Openclaw子板块找热点

然后它寻找Openclaw医术来找痛点 最后它总结出答案来回答了我 那么这次搜索啊 明显更加细节 针对Reddit这一个平台 当然这只是一个平台啦 大家也可以用在其他的平台 比方说IX Youtube等等一切社交 媒体或者其他的网站上 只要你打开网页 点亮都可以操作 好的 我们总结一下 尽管我们今天用了信息收集爆

点挖掘痛点挖掘这样一个例子 来啊验证这4种不同的方法 但是本质上 第三种第四种用浏览器的方法 你都可以让他做你任何在 浏览器需要上网做的工作 不仅限于痛点挖掘 那么大家可以想想自己在日常生活中 什么工作在浏览器的 工作是可以让AI帮你做的 来提高效率 来增大你的产出 有什么问题大家可以

在评论区里告诉我 不要忘记点赞和关注 我们下期再见

Loading...

Loading video analysis...