我的编程空间,编程开发者的网络收藏夹
学习永远不晚

python爬虫如何爬取微博粉丝数据

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

python爬虫如何爬取微博粉丝数据

这篇文章主要介绍了python爬虫如何爬取微博粉丝数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

python可以做什么

Python是一种编程语言,内置了许多有效的工具,Python几乎无所不能,该语言通俗易懂、容易入门、功能强大,在许多领域中都有广泛的应用,例如最热门的大数据分析,人工智能,Web开发等。

现如今,微博成为大多数追星族追星的渠道之一,通过超话打卡,微博打榜,控评等维护自己的偶像。而品牌方会根据明星粉丝流量选取合适的代言人或活动嘉宾,微博中的粉丝数据可以很简单的分析出。

1、自动登录微博

driver = webdriver.Chrome(driver_path)  # 打开Chromedriver.maximize_window()  # 将浏览器最大化显示driver.get(weibo_url)  # 打开微博登陆页面time.sleep(10)  # 加载页面需要时间,延时10s来确保页面已加载完毕time.sleep(2)driver.find_element_by_name("username").send_keys(username)  ##输入用户名driver.find_element_by_name("password").send_keys(password)  ##输入密码driver.find_element_by_xpath("//a[@node-type='submitBtn']").click()  ##点击登录按钮

2、获取cookie并将返回的Cookies数组转成微博需要的cookie格式

for x in range(len(cookies)):value = cookies[x]['name'] + "=" + cookies[x]['value'] + ";"cookie = cookie + valuereturn cookie

3、利用BeautifulSoup库进行解析html操作

headers['Cookie']=cookieinfo_response = requests.get('http://s.weibo.com/user/' + names_list[x], headers)  # 微博搜索的页面urlinfo_soup = BeautifulSoup(info_response.text, 'html5lib')  # 利用BeautifulSoup库进行解析html操作info_soup = get_html(info_soup, "pl_user_feedList")

4、找到用户信息的html

weibo_info = info_soup.find_all('a', attrs={"class": "W_linkb", "target": "_blank"})  # 找到用户信息的htmlid = weibo_info[0].get('href')  # 用户idsubs_size = weibo_info[0].string  # 关注数fans_size = weibo_info[1].string  # 粉丝数contents_size = weibo_info[2].string  # 微博数subs_size = int(re.sub("\D", "", subs_size))  # 只取出数字,其它的不管用,下面同理fans_size = int(re.sub("\D", "", fans_size))contents_size = int(re.sub("\D", "", contents_size))id = int(re.findall('\d+', id)[0])return [subs_size, fans_size, contents_size, id]

5、进行爬取

if __name__ == '__main__':    browser = WeiboFansCrawler()    browser.login()    # 明星列表    star_lists = ['谢娜', '何炅', 'Angelababy', '杨幂', '陈坤', '赵薇', '姚晨',             '林心如', '邓超', '郭德纲', '林志颖', '张小娴', '赵丽颖', '范冰冰',             '贾乃亮', '唐嫣', '胡歌', '陈乔恩', '王力宏', '黄晓明', '文章同學',             '刘亦菲', '陈羽凡']    # 若本地缓存中没有,则在线获取ID    if len(browser.stars) == 0:        for star in star_lists:            browser.get_page_id(star)    # ID缓存到本地    with open('star_id.txt', 'w') as f:        f.write(str(browser.stars))    # 获取主页数据    browser.get_fan_cnt()    browser.get_home_data()    browser.dump_home_data()    # 获取并缓存数据到本地    loop = 0    while True:        browser.get_fans_data()        browser.dump_fans_data()        loop += 1        if loop > 20:            break        time.sleep(100)        print(browser.stars)    print(browser.data)

感谢你能够认真阅读完这篇文章,希望小编分享的“python爬虫如何爬取微博粉丝数据”这篇文章对大家有帮助,同时也希望大家多多支持编程网,关注编程网行业资讯频道,更多相关知识等着你来学习!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

python爬虫如何爬取微博粉丝数据

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

python爬虫如何爬取微博粉丝数据

这篇文章主要介绍了python爬虫如何爬取微博粉丝数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。python可以做什么Python是一种编程语言,内置了许多有效的工具,P
2023-06-14

python爬虫怎么爬取微博热搜

这篇文章主要介绍python爬虫怎么爬取微博热搜,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!python有哪些常用库python常用的库:1.requesuts;2.scrapy;3.pillow;4.twiste
2023-06-14

Python爬虫如何采集微博视频数据

这篇文章主要介绍了Python爬虫如何采集微博视频数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。知识点requestspprint开发环境版 本:python 3.8-编
2023-06-21

python爬虫如何获取数据

使用Python爬虫获取数据可以分为以下几个步骤:导入所需的库:通常情况下,使用requests库发送HTTP请求获取网页内容,使用beautifulsoup4库解析网页内容。import requestsfrom bs4 import
python爬虫如何获取数据
2024-02-29

Python爬虫:导出爬取的数据

最近想要做一个爬虫,检验一下Python的学习成果,眼看快要做完了,又遇到了问题,想要导出爬取的数据就必须要了解CSV文件,可是!下面是我百度出的结果!啊啊啊啊! 作为一枚小白,我看不懂百科在说些什么?!后来,在网上发现一个讲爬虫导出数据存
2023-01-31

爬虫实战 | 用Python爬取指定关键词的微博~

前几天学校一个老师在做微博的舆情分析找我帮她搞一个用关键字爬取微博的爬虫,再加上最近很多读者问志斌微博爬虫的问题,今天志斌来跟大家分享一下。

python爬虫如何爬取图片

这篇文章主要介绍了python爬虫如何爬取图片,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。python可以做什么Python是一种编程语言,内置了许多有效的工具,Pytho
2023-06-14

python爬虫爬取赶集网数据

一.创建项目scrapy startproject putu二.创建spider文件scrapy genspider  patubole patubole.com 三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式,开始
2023-01-31

怎么使用python爬虫爬取数据

本篇内容介绍了“怎么使用python爬虫爬取数据”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!python爬出六部曲第一步:安装reques
2023-06-29

python爬虫中如何爬取新闻

这篇文章主要介绍了python爬虫中如何爬取新闻,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。python的五大特点是什么python的五大特点:1.简单易学,开发程序时,专
2023-06-14

python爬取微博图片数据存到Mysq

本人长期出售超大量微博数据、旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群:99918768  由于硬件等各种原因需要把大概170多万2t左右
2023-01-31

python爬虫爬取网页数据并解析数据

本篇文章给大家带来了关于Python的相关知识,主要介绍了python爬虫如何爬取网页数据并解析数据,帮助大家更好的利用爬虫分析网页,下面一起来看一下,希望对大家有帮助。【相关推荐:Python3视频教程 】1.网络爬虫的基本概念网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。只要浏览器能够做的事情,原则上,爬虫都能够做到。
2022-08-15

python爬虫如何找数据

这篇文章主要介绍了python爬虫如何找数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。Python的优点有哪些1、简单易用,与C/C++、Java、C# 等传统语言相比,
2023-06-14

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录