怎么用python爬取一组小姐姐图片
短信预约 -IT技能 免费直播动态提醒
本篇内容主要讲解“怎么用python爬取一组小姐姐图片”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么用python爬取一组小姐姐图片”吧!
引入库
import timeimport requestsfrom lxml import etree
这三个库是为了让我们在请求别人网站的时候,让程序休息一会,避免别人的网站会拦截或者崩溃和将得到的页面源代码进行解析。
网页分析
利用浏览器的开发者模式,对页面进行分析,找出我们所需要的每个图片封面url
href = tree.xpath('//*[@id="features"]/div/div[1]/div/div[1]/a/@href')
我们得到了封面的url后,但这还不是我们所需要的,我们所需要的是超链接里面的图片
我们进入后,发现每张图片都在<p></p>里面,如何我们利用循环得到每张图片的url地址
for url_img in href: img_url = requests.get(url_img,headers=head) # print(img_url.text) time.sleep(1) t = etree.HTML(img_url.text) url_list = t.xpath("/html/body/section/div/div/div[1]/div[2]/p[2]/img/@class="lazy" data-src")
剩下的就很简单了,我们只需对文件进行保存就得到我们想要的结果了。
with open(f"./img/{name}",mode="wb") as f: f.write(download_img.content) print("正在下载:" +name) time.sleep(1)
完整代码
import timeimport requestsfrom lxml import etree def get_page_url(): for i in range(1, 4): # 循环3页 url = f"https://mm.tvv.tw/category/xinggan/{i}/" # 请求页面得到源代码 res = requests.get(url,headers=head) # 对源代码进行解析 tree = etree.HTML(res.text) # 得到每个图片的封面url(href) href = tree.xpath('//*[@id="features"]/div/div[1]/div/div[1]/a/@href') # print("-------------------------------------------------------") time.sleep(3) for url_img in href: img_url = requests.get(url_img,headers=head) # print(img_url.text) time.sleep(1) t = etree.HTML(img_url.text) url_list = t.xpath("/html/body/section/div/div/div[1]/div[2]/p[2]/img/@class="lazy" data-src") # print(url_list) time.sleep(1) for url_class="lazy" data-src in url_list: get_img(url_class="lazy" data-src) def get_img(url): name = url.rsplit("/",1)[1] time.sleep(2) download_img = requests.get(url,headers=head) with open(f"./img/{name}",mode="wb") as f: f.write(download_img.content) print("正在下载:" +name) time.sleep(1) f.close() if __name__ == '__main__': head = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"} get_page_url()
到此,相信大家对“怎么用python爬取一组小姐姐图片”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341