我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python爬虫之Requests库的基

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python爬虫之Requests库的基

  1 import requests
  2 response = requests.get('http://www.baidu.com/')
  3 print(type(response))
  4 print(response.status_code)
  5 print(type(response.text))
  6 print(response.text)
  7 print(response.cookies)
  8 
  9 # 各种请求方式
 10 import requests
 11 requests.post('http://httpbin.org/post')
 12 requests.put('http://httpbin.org/put')
 13 requests.delete('http://httpbin.org/delete')
 14 requests.head('http://httpbin.org/get')
 15 requests.options('http://httpbin.org/get')
 16 
 17 # 基本GET请求
 18 import requests
 19 response = requests.get('http://httpbin.org/get')
 20 print(response.text)
 21 
 22 # 带参数GET请求
 23 import requests
 24 response = requests.get('http://httpbin.org/get?name=germey&age=22')
 25 print(response.text)
 26 
 27 import requests
 28 data = {
 29     'name': 'germey',
 30     'age': 22
 31 }
 32 response = requests.get('http://httpbin.org/get', params = data)
 33 print(response.text)
 34 
 35 # 解析json
 36 import requests
 37 import json
 38 response = requests.get('http://httpbin.org/get')
 39 print(type(response.text))
 40 print(response.json())
 41 print(json.loads(response.text))
 42 print(type(response.json()))
 43 
 44 # 获取二进制数据
 45 import requests
 46 response = requests.get('http://github.com/favicon.ico')
 47 print(type(response.text), type(response.content))
 48 print(response.text)
 49 print(response.content)
 50 
 51 # 保存图片
 52 import requests
 53 response = requests.get('http://github.com/favicon.ico')
 54 with open('1.ico', 'wb') as f:
 55     f.write(response.content)
 56     f.close()
 57 
 58 # 添加headers 不添加的话会请求失败的
 59 import requests
 60 response = requests.get('http://www.zhihu.com/explore')
 61 print(response.text)
 62 
 63 import requests
 64 headers = {
 65     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'
 66 }
 67 response = requests.get('http://zhihu.com/explore', headers = headers)
 68 print(response.text)
 69 
 70 # 基本的POST请求
 71 import requests
 72 data = {'name': 'germey', 'age': 22}
 73 response = requests.post('http://httpbin.org/post', data = data)
 74 print(response.text)
 75 
 76 import requests
 77 data = {'name':'germey', 'age':22}
 78 headers = {
 79     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'
 80 }
 81 response = requests.post('http://httpbin.org/post', data = data, headers = headers)
 82 print(response.json())
 83 
 84 # response属性
 85 import requests
 86 response = requests.get('http://www.jianshu.com')
 87 print(type(response.status_code), response.status_code)
 88 print(type(response.headers), response.headers)
 89 print(type(response.cookies), response.cookies)
 90 print(type(response.url), response.url)
 91 print(type(response.history), response.history)
 92 
 93 # 文件上传
 94 import requests
 95 files = {'file':open('1.ico', 'rb')}
 96 response = requests.post('http://httpbin.org/post', files = files)
 97 print(response.text)
 98 
 99 # 获取cookie
100 import requests
101 response = requests.get('http://www.baidu.com')
102 print(response.cookies)
103 for key, value in response.cookies.items():
104     print(key + ' = ' + value)
105 
106 # 会话维持 模拟登陆
107 import requests
108 requests.get('http://httpbin.org/cookies/set/number/123456789')
109 response = requests.get('http://httpbin.org/cookies')
110 print(response.text)
111 
112 import requests
113 s = requests.session()
114 s.get('http://httpbin.org/cookies/set/number/123456789')
115 response = s.get('http://httpbin.org/cookies')
116 print(response.text)
117 
118 # 证书验证
119 import requests
120 response = requests.get('https://www.12306.cn')
121 print(response.status_code)

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Python爬虫之Requests库的基

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Python爬虫之Requests库的基

1 import requests 2 response = requests.get('http://www.baidu.com/') 3 print(type(response)) 4 print(response.status_
2023-01-30

python爬虫中requests库怎么用

小编给大家分享一下python爬虫中requests库怎么用,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!python爬虫—requests库的用法request
2023-06-25

Python爬虫Requests库如何使用

本篇内容主要讲解“Python爬虫Requests库如何使用”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python爬虫Requests库如何使用”吧!1、安装 requests 库因为学习过
2023-07-06

Python爬虫之Urllib库的基本使

# get请求import urllib.requestresponse = urllib.request.urlopen("http://www.baidu.com")print(response.read().decode('utf-8
2023-01-30

python: 爬虫利器requests

requests并不是系统自带的模块,他是第三方库,需要安装才能使用闲话少说,来,让我们上代码:简单的看一下效果:import requestsrequests = requests.session()headers = { 'Use
2023-01-31

关于Python网络爬虫requests库的介绍

这篇文章主要介绍了关于Python网络爬虫requests库,而很多时候这些数据存储在网页中,手动下载需要花费的时间太长,这时候我们就需要网络爬虫帮助我们自动爬取这些数据,需要的朋友可以参考下
2023-05-18

Python网络爬虫requests库如何使用

这篇文章主要讲解了“Python网络爬虫requests库如何使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python网络爬虫requests库如何使用”吧!1. 什么是网络爬虫简单来
2023-07-06

Python爬虫基础之selenium库怎么用

小编给大家分享一下Python爬虫基础之selenium库怎么用,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一、selenium简介官网总的来说: seleni
2023-06-15

Python爬虫基础之selenium库的用法总结

目录一、selenium简介二、selenium基本用法三、常用用法四、cookie的设置、获取与删除五、文件的上传与下载 文件上传upload六、窗口的切换七、项目实战一、selenium简介 官网总的来说: selenium库主要用来做
2022-06-02

基础爬虫,谁学谁会,用requests、

爬取豆瓣Top250电影的评分、海报、影评等数据!  本项目是爬虫中最基础的,最简单的一例;后面会有利用爬虫框架来完成更高级、自动化的爬虫程序。  此项目过程是运用requests请求库来获取html,再用正则表达式来解析从中获取所需数据。
2023-01-30

python爬虫之『入门基础』

1.首先需要了解一下http请求,当用户在地址栏中输入网址,发送网络请求的过程是什么?可以参考我之前学习的时候转载的一篇文章一次完整的HTTP事务过程–超详细2.还需要了解一下http的请求方式有兴趣的同学可以去查一下http的八种请求方法
2023-01-31

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录