Python如何爬取觅知网素材图片

这篇文章主要讲解了“Python如何爬取觅知网素材图片”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Python如何爬取觅知网素材图片”吧！

【一、项目背景】

   在素材网想找到合适图片需要一页一页往下翻，现在学会python就可以用程序把所有图片保存下来，慢慢挑选合适的图片。

【二、项目目标】

根据给定的网址获取网页源代码。

利用正则表达式把源代码中的图片地址过滤出来。

过滤出来的图片地址下载素材图片。

【三、涉及的库和网站】

网址如下：

https://www.51miz.com/

涉及的库：requests、lxml

【四、项目分析】

   首先需要解决如何对下一页的网址进行请求的问题。可以点击下一页的按钮，观察到网站的变化分别如下所示：

https://www.51miz.com/so-sucai/1789243.htmlhttps://www.51miz.com/so-sucai/1789243/p_2/https://www.51miz.com/so-sucai/1789243/p_3/

   我们可以发现图片页数是1789243/p{}，p{}花括号数字表示图片哪一页。

【五、项目实施】

打开觅知网，在搜索中输入你想要的图片素材（以鼠年素材图片为例）。

根据上一步对网址的分析，首先我们定义一个类叫做ImageSpider，类里面定义初始化函数、发送请求获取响应数据函数、解析函数、主函数。首先初始化函数，准备url地址和headers，代码如下图所示。

发送请求获取响应数据函数。

解析数据，使用xpath获取二级页面链接，最后把图片存储在文件夹中。使用谷歌浏览器选择开发者工具或直接按F12,发现我们需要的图片class="lazy" data-src是在img标签下的，于是用Python的requests提取该组件。

主函数，代码如下图所示。

【六、效果展示】

运行程序，在控制台输入你要爬取的页数，如下图所示。

在本地可以看到效果图，如下图所示。

感谢各位的阅读，以上就是“Python如何爬取觅知网素材图片”的内容了，经过本文的学习后，相信大家对Python如何爬取觅知网素材图片这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是编程网，小编将为大家推送更多相关知识点的文章，欢迎关注！