我的编程空间,编程开发者的网络收藏夹
学习永远不晚

怎么用Python实现岗位分析报告

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

怎么用Python实现岗位分析报告

本篇内容介绍了“怎么用Python实现岗位分析报告”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

一、本文目标

获取 Ajax 请求,解析 JSON 中所需字段

数据保存到 Excel 中

数据保存到 MySQL, 方便分析

二、分析结果

1.引入库

五个城市 Python 岗位平均薪资水平

2.页面结构

我们输入查询条件以 Python 为例,其他条件默认不选,点击查询,就能看到所有 Python 的岗位了,然后我们打开控制台,点击网络标签可以看到如下请求:

怎么用Python实现岗位分析报告

从响应结果来看,这个请求正是我们需要的内容。后面我们直接请求这个地址就好了。从图中可以看出 result 下面就是各个岗位信息。

到这里我们知道了从哪里请求数据,从哪里获取结果。但是 result 列表中只有第一页 15 条数据,其他页面数据怎么获取呢?

3.请求参数

我们点击参数选项卡,如下:

发现提交了三个表单数据,很明显看出来 kd 就是我们搜索的关键词,pn 就是当前页码。first 默认就行了,不用管它。剩下的事情就是构造请求,来下载 30 个页面的数据了。

4.构造请求 解析数据

构造请求很简单,我们还是用 requests 库来搞定。首先我们构造出表单数据

data = {'first': 'true', 'pn': page, 'kd': lang_name}

之后用 requests 来请求url地址,解析得到的 JSON 数据就算大功告成了。由于拉勾对爬虫限制比较严格,我们需要把浏览器中 headers 字段全部加上,而且把爬虫间隔调大一点,我后面设置的为 10-20s,然后就能正常获取数据了。

import requestsdef get_json(url, page, lang_name):   headers = {       'Host': 'www.lagou.com',       'Connection': 'keep-alive',       'Content-Length': '23',       'Origin': 'https://www.lagou.com',       'X-Anit-Forge-Code': '0',       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0',       'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',       'Accept': 'application/json, text/javascript, */*; q=0.01',       'X-Requested-With': 'XMLHttpRequest',       'X-Anit-Forge-Token': 'None',       'Referer': 'https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=',       'Accept-Encoding': 'gzip, deflate, br',       'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7'   }   data = {'first': 'false', 'pn': page, 'kd': lang_name}   json = requests.post(url, data, headers=headers).json()   list_con = json['content']['positionResult']['result']   info_list = []   for i in list_con:       info = []       info.append(i.get('companyShortName', '无'))       info.append(i.get('companyFullName', '无'))       info.append(i.get('industryField', '无'))       info.append(i.get('companySize', '无'))       info.append(i.get('salary', '无'))       info.append(i.get('city', '无'))       info.append(i.get('education', '无'))       info_list.append(info)   return info_list

4.获取所有数据

了解了如何解析数据,剩下的就是连续请求所有页面了,我们构造一个函数来请求所有 30 页的数据。

def main():   lang_name = 'python'   wb = Workbook()   conn = get_conn()   for i in ['北京', '上海', '广州', '深圳', '杭州']:       page = 1       ws1 = wb.active       ws1.title = lang_name       url = 'https://www.lagou.com/jobs/positionAjax.json?city={}&needAddtionalResult=false'.format(i)       while page < 31:           info = get_json(url, page, lang_name)           page += 1           import time           a = random.randint(10, 20)           time.sleep(a)           for row in info:               insert(conn, tuple(row))               ws1.append(row)   conn.close()   wb.save('{}职位信息.xlsx'.format(lang_name))if __name__ == '__main__':   main()

“怎么用Python实现岗位分析报告”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

怎么用Python实现岗位分析报告

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

怎么用Python实现岗位分析报告

本篇内容介绍了“怎么用Python实现岗位分析报告”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!一、本文目标获取 Ajax 请求,解析 JS
2023-07-05

利用Python实现岗位的分析报告

这篇文章主要为大家详细介绍了如何利用Python实现岗位的分析报告,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
2023-03-22

Python怎么实现爬取腾讯招聘网岗位信息

本篇内容主要讲解“Python怎么实现爬取腾讯招聘网岗位信息”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python怎么实现爬取腾讯招聘网岗位信息”吧!介绍开发环境Windows 10pyth
2023-06-22

Python怎么实现位图分割的效果

这篇文章主要讲解了“Python怎么实现位图分割的效果”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python怎么实现位图分割的效果”吧!话不多说,直接来代码。import cv2impo
2023-06-25

Python怎么实现RFM用户分析模型

本篇内容介绍了“Python怎么实现RFM用户分析模型”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!看这篇文章前源数据长这样:学完后只要敲一
2023-06-16

Python中怎么实现数据分析

今天就跟大家聊聊有关Python中怎么实现数据分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。为什么选择Python进行数据分析?Python是一门动态的、面向对象的脚本语言,同时
2023-06-20

Python中怎么实现方差分析

这篇文章给大家介绍Python中怎么实现方差分析,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。首先,还是先简介一下方差分析。方差分析(Analysis of Variance,ANOVA)又称“变异数分析”或“F检验”
2023-06-16

Python中怎么实现文本分析

这期内容当中小编将会给大家带来有关Python中怎么实现文本分析,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。任务(Task)人为判断同义词很简单,但用程序来判断就不简单了。小爱想到了两种方式:制作一个同
2023-06-16

轻量应用服务器缺点分析报告怎么写

轻量应用服务器(LightAppServer)是一种高度可定制的服务器,它通过使用轻量级框架和模块化设计来实现低成本和高性能,使用户可以将时间和精力放在更具战略性的任务上。以下是轻量应用服务器的一些优点和缺点分析:低成本:与传统的高价服务器相比,轻量应用服务器可以将成本降低。此外,随着可用空间的减少,用户可以更容易地管理和使用服务器资源。灵活性:与传统的高价服务器相比,轻量应用服务器可以灵
2023-10-26

怎么在Python中使用pandas实现数据分析

怎么在Python中使用pandas实现数据分析?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。一、比较运算符和比较方法比较运算符用于判断是否相等和比较大小,Py
2023-06-15

怎么在Python中使用xpath实现定位

这篇文章给大家介绍怎么在Python中使用xpath实现定位,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。一、xpath:基本属性定位用以下xpath方法定位二、xpath:其他属性定位在实际工作过程中,往往会遇到一个
2023-06-15

Python中怎么实现数据分析功能

本篇文章给大家分享的是有关Python中怎么实现数据分析功能,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。1)数据获取一般有数据分析师岗位需求的公司都会有自己的数据库,数据分析
2023-06-16

Python数据分析斜率图怎么实现

要实现Python数据分析中的斜率图,可以使用numpy和matplotlib库来进行绘图。首先,需要导入需要的库:```pythonimport numpy as npimport matplotlib.pyplot as plt```然
2023-10-12

轻量应用服务器缺点分析报告怎么写的

轻量应用服务器(LightAppServer)具有许多优点,但也存在一些缺点。下面是对这些特点的分析报告。可伸缩性轻量应用服务器通常具有小型、低成本和高可伸缩性的架构,这使得它们能够容纳更多的应用,从而提高系统的可用性和负载平衡能力。在这种架构下,可以使用高速、高吞吐量的处理器、内存和存储器,以确保系统在处理大量请求时保持高性能。这种架构还可以降低处理器的数量和服务器的数量,从而减少硬件成
2023-10-26

轻量应用服务器缺点分析报告怎么写的呀

轻量应用服务器是一种用于小型应用程序的服务器,它们通常具有较少的资源需求,比如CPU或内存。为了实现轻量应用服务器,你需要采取以下步骤来确保其具有足够的轻量性和可靠性:确定所需的硬件和软件组件:选择适合轻量应用服务器应用程序的硬件组件,并确保其易于配置和管理,同时可以支持高负载。选择合适的操作系统和编程语言:选择支持轻量应用服务器的操作系统和编程语言,以适应这种应用程序。设计应用程序架构
2023-10-26

轻量应用服务器缺点分析报告怎么写的啊

轻量应用服务器通常采用模块化架构,每个模块都是一个独立的应用程序,可以独立运行在服务器上,无需与其他系统集成。这种方式下,应用服务器不会直接处理大量用户请求,因此它们通常会更容易面临性能问题和资源限制。此外,由于采用了轻量应用服务器,应用服务器将不得不处理更高的并发请求量和更长的响应时间,这也可能导致性能问题。此外,轻量应用服务器通常会更容易受到安全性问题的影响。为了克服这些问题,开发人员常
2023-10-26

Python数据分析之Matplotlib 3D图怎么实现

这篇文章主要讲解了“Python数据分析之Matplotlib 3D图怎么实现”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python数据分析之Matplotlib 3D图怎么实现”吧!M
2023-06-30

怎么在Python中使用pandas函数实现数据分析

本篇文章给大家分享的是有关怎么在Python中使用pandas函数实现数据分析,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。python有哪些常用库python常用的库:1.r
2023-06-14

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录