我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Puppeteer中怎么实现一个自动化机器人

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Puppeteer中怎么实现一个自动化机器人

这篇文章给大家介绍Puppeteer中怎么实现一个自动化机器人,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

Puppeteer 是 Node.js 的一个函数库,可用来操控浏览器,是 Google 的项目,可以应用的范围包括:前端的自动化测试、爬虫、表单提交等。

Selenium vs Puppeteer

之前有过用 Python 配合 Selenium 的经验,不过如果是做爬虫、自动化操作用 Puppeteer 还是非常方便的,安装简单快速,API 也容易使用。美中不足的是它只支持 Chromium 以下是两者的比较,仅供参考:

Puppeteer中怎么实现一个自动化机器人

由于 Puppeteer 是用 Node.js 写的,所以必须要先安装 Node。

  1. 鸿蒙官方战略合作共建——HarmonyOS技术社区

  2. 可以至官网 下载

  3. 如果用 mac 可以使用 https://nodejs.org/en/

安装完后可以在 terminal 输入 node -v 检查是否安装成功

Puppeteer中怎么实现一个自动化机器人

然后到要开发的项目路径下输入 npm init -y 初始化项目,接着 npm i puppeteer ,安装的时候会发现它会连同 Chromium 一同安装。

Puppeteer中怎么实现一个自动化机器人

安装成功后就可以开始了。

一个简单的例子

新增一个文件 main.js ,并复制以下代码:

const puppeteer = require('puppeteer');  (async () => {    // 开启 browser   const browser = await puppeteer.launch({         headless: false   });   // 新增分页   const page = await browser.newPage();   // 到自己的博客网站   await page.goto(`https://www.myblog.com/`);   // 等待订阅按钮出现   await page.waitForSelector("button[class='subscribe-button pill-button']");   // 点击订阅按钮   await page.click("button[class='subscribe-button pill-button']"); })();

接着到终端下输入 node main.js 执行。

解释代码

前面的代码先引入 Puppeteer,以便后续使用,接下来可以看到用 async 以及 () => , async 表示函数要用到异步操作, () => 则是 JS 的箭头函数。

const puppeteer = require('puppeteer');

接下来是用 Puppeteer 打开一个浏览器 ( Chromium ),其中可以看到我们设了参数 headless : false ,如果是设定为 true ,会开启没有界面的无头浏览器,如果设定 false ,就会开一个浏览器窗口。

const browser = await puppeteer.launch({     headless: false });

这段就很简单了,它会帮你在浏览器开一个新的分页。

const page = await browser.newPage();

这段也很容易,看到 goto 就可以猜到会帮你导向后方指定的网址。

await page.goto(`https://b123105.blogspot.com/`);

最后这段代码用到了 click 这个方法,它能够帮你点击后面指定的元素,可以看到我是指定 class = subscribe-button pill-button 的 <button> 。

waitForSelector 的作用是,在执行时整个操作速度会很快,有时可能这个元素都很没出现,就让它去点击,有可能会找不到。所以先让它等待指定元素出现后,再去点击。

await page.waitForSelector("button[class='subscribe-button pill-button']");  await page.click("button[class='subscribe-button pill-button']");

把项目容器化

首先下载 Docker,这里就不再赘述。接下来在项目目录下创建 Dockerfile ,把下面的脚本代码复制粘贴。

然后构建镜像: docker build -t puppeteer-bot . 。

构建完成后就执行 docker run -d --name puppeteer-bot-timeline puppeteer-bot:latest 。

之后可以通过 docker logs puppeteer-bot-timeline 查看 console.log 的内容 ( 如果有的话 )。

要记得 headless 要设定为 true 才能运行。
FROM node:11-slim # 下载 chromium 在 docker 运行时所需组件 RUN apt-get update && apt-get install -yq libgconf-2-4 RUN apt-get update && apt-get install -y wget --no-install-recommends \     && wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - \     && sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list' \     && apt-get update \     && apt-get install -y google-chrome-unstable \       --no-install-recommends \     && rm -rf /var/lib/apt/lists/* \     && apt-get purge --auto-remove -y curl \     && rm -rf /class="lazy" data-src/*.deb  ADD https://github.com/Yelp/dumb-init/releases/download/v1.2.0/dumb-init_1.2.0_amd64 /usr/local/bin/dumb-init RUN chmod +x /usr/local/bin/dumb-init USER root ENV TZ=Asia/Shanghai # 转换时区,非必要 RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone COPY . /app/ WORKDIR app RUN npm install EXPOSE 8084 ENTRYPOINT ["dumb-init", "--"] CMD ["node", "main.js"]

容器打包时的一些坑

接下来是我在用 Docke 打包过程遇到的一些问题:

1. Puppeteer 安装 Chromium 时会缺少一些组件

本来用 docker 封装是很容易的,安装 node 然后 npm install 就行了,但是在实际操作时一直报错说 Chromium 缺少组件。后来去 Puppeteer 的 issue 上查到原来安装 Puppeteer 时会自动安装 Chromium,但要在 Docker 上运行的相关组件并不会自动下载。

2. 页面焦点问题

在开发时我是通过开启一个浏览器,然后持续开三个分页来进行操作,希望能加快处理的速度。但是发现当 headless:false 时,会同时开启三个分页,但只有被设置为焦点的当前页面在执行后面的脚本,另外两页并没有。因为在开发过程中执行时 tab 页会被关闭,所以接下来第二个 tab 中的页面获得焦点后会再开始运行。

在 issue 中也看到有人遇到了同样的问题,只有在 headless:true 的时候会同时处理,但目前还没找到其他解法。

3. Page Crash 问题

上面有提到我在一个浏览器上操作三个分页,放在 docker 中运行,总是遇到 Page Crash 问题,第一反应是可能内存不足,在 issue 上查到原来在打开浏览器时要加上 --disable-dev-shm-usage 。

原文是这样说的:

By default, Docker runs a container with a /dev/shm shared memory space 64MB. This is typically too small for Chrome and will cause Chrome to crash when rendering large pages. To fix, run the container with docker run --shm-size=1gb to increase the size of /dev/shm. Since Chrome 65, this is no longer necessary. Instead, launch the browser with the --disable-dev-shm-usage flag: const browser = await puppeteer.launch({ args: ['--disable-dev-shm-usage'] });

关于Puppeteer中怎么实现一个自动化机器人就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Puppeteer中怎么实现一个自动化机器人

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

用 Puppeteer 实现一个自动化机器人

Puppeteer 是 Node.js 的一个函数库,可用来操控浏览器,是 Google 的项目,可以应用的范围包括:前端的自动化测试、爬虫、表单提交等。

怎么用Python写一个自动化机器人消灭广告

这篇文章主要介绍“怎么用Python写一个自动化机器人消灭广告”,在日常操作中,相信很多人在怎么用Python写一个自动化机器人消灭广告问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么用Python写一个自
2023-06-16

Python中怎么实现一个聊天机器人

Python中怎么实现一个聊天机器人,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。1. 创建虚拟环境pipenv是一个轻松创建虚拟环境的python库。pip install
2023-06-16

实现机器人自动化的五种方法

自动化不仅减少了人工操作,还确保了聊天机器人是全天候高效响应。以下是实现聊天机器人自动化的5种实用方法。

人工智能聊天机器人如何实现超自动化

通过将人工智能驱动的聊天机器人集成到微信、邮件等消息传递渠道中,企业可以利用它们在销售、营销或客户服务方面进行即时全天候通信,从而发挥其潜力。它可以优化人力资源利用,最终提高客户满意度、提供丰富的体验并建立更牢固的联系。

Python中怎么实现SQL自动化

这篇文章给大家介绍Python中怎么实现SQL自动化,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。从基础开始import pyodbc from datetime import datetime classSql:
2023-06-16

成功实施机器人流程自动化的八个秘诀

企业如何成功扩展机器人流程自动化(RPA)?人们需要考虑采用一些工作实践克服RPA的挑战并从中获益。

怎么在Android中实现一个自动打卡功能

这篇文章给大家介绍怎么在Android中实现一个自动打卡功能,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。提前准备首先我们需要一直不用的Android手机,插上公司的电源。下载安装钉钉并设置为极速打卡。自动打开我们只需
2023-06-14

机器人和人工智能如何实现供应链的自动化

自动化技术如今正在进入各个行业领域,这在供应链中尤为明显。事实上,正如人们所知,自动化技术的未来进步可能会重塑整个供应链和供应链管理软件。

C#中怎么实现自动化文档

这篇文章将为大家详细讲解有关C#中怎么实现自动化文档,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。C#文档自动化初步认识:在C#中文档注释对应的符号是:///。但光使用它还是不能为我们产生代
2023-06-17

Jenkins中怎么实现自动化测试

Jenkins是一个持续集成工具,可以通过配置自动化测试任务来实现自动化测试。以下是在Jenkins中实现自动化测试的一般步骤:创建一个新的Jenkins任务:在Jenkins的主界面点击“新建任务”,选择“构建一个自由风格的软件项目”或者
Jenkins中怎么实现自动化测试
2024-03-05

编程热搜

目录