python 数据分析之 HTML文件解析

    
        
Header 1
        
Header 2
    
    
        
row 1, cell 1
        
row 1, cell 2
    
    
        
row 2, cell 1
        
row 2, cell 2
    

3> 列表速查

A: 基本文档

可见文本...

B: 基本标签

h1-h6 块元素 独立成行 行间距
属性：
align
对齐方式 left center right

color
不存在 如果需要设置样式 要嵌套font标签

 . . . 
 . . . 
 . . . 
 . . . 
  
这是一个段落。

 （换行）
 （水平线）

C: 文本格式化

粗体文本计算机代码强调文本斜体文本键盘输入 
预格式化文本
更小的文本重要的文本  （缩写）
 （联系信息） （文字方向）
 （从另一个源引用的部分） （工作的名称） （删除的文本） （插入的文本） （下标文本） （上标文本）

D: 链接

普通的链接：链接文本图像链接： 邮件链接： 发送e-mail书签：提示部分跳到提示部分

E: 图片

F: 样式/区块

文档中的块级元素
文档中的内联元素

G: 列表

无序列表

    
项目
    
项目

有序列表

    
第一项
    
第二项

H: 定义列表

  
项目 1
    
描述项目 1
  
项目 2
    
描述项目 2

I: 表格

`苹果香蕉樱桃 `    
  
表格
    
表格
  
  
    
表格数据
    
表格数据
  

J: 框架

K: 实体

< 等同于 <> 等同于 >© 等同于 ©

M: 文本修饰

font 行内标签
属性：
size
字体大小 最大值是7

color
颜色值 颜色单词 red green blue 颜色的RGB rgb(0,0,255)
十六进制表示 #0000ff

face
字体族 黑体 楷体 宋体 华文彩云 必须浏览器支持

             主题内容。    我还是主体内容

5> HTML语法基本规则

6> Htlm特点

1. BeautifulSoup

在使用BeautiSoup对其进行解析，解析的时候要使用相应类型的解析器html.parser

from bs4 import BeautifulSoupfile = open(r'C:/Users/CHH_PC/Desktop/test.html','rb')html = file.read()bs = BeautifulSoup(html,'html.parser')

BeautifulSoup 将复杂的HTML文档转换成一个复杂的树形结构，每个结点都是一个Python对象，所有对象可以分为四种：

2. BeautifulSoup应用

1> 常用参数

2> 遍历文档树

3> 文档的搜索

4> BeautifulSoup解析器

例如：
soup = BeautifulSoup(html, ‘lxml’)创建对象
soup = BeautifulSoup(open(‘test.html’),‘lxml’)读取HTML文件

5> BeautifulSoup 高阶

A： find_all 参数举例

1. urllib库的作用-解析网页

作用：urllib 模块是一个高级的 web 交流库，其核心功能就是模仿web浏览器等客户端，去请求相应的资源，并返回一个类文件对象。可以使用代码模拟浏览器发起请求
urllib 是python3 的内置库，urllib库最大的作用就是可以去设定相关的头部信息然后和网站建立请求连接，请求连接建立完成后就能够去获取到网页的整体数据，这也是python爬虫脚本实现的核心

2. urllib子模块

urllib模块包括：urllib.request, urllib.error, urllib.parse,urllib.robotparser

模拟请求使用的最主要的库便是urllib.request，异常处理用urllib.error库

3. 使用流程

4. urllib.request 发送请求

urllib.request 模块提供了最基本的构造 HTTP 请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理 authenticaton （授权验证）， redirections （重定向)， cookies (浏览器Cookies）以及其它内容
demo

1> demo

import urllib.requestresponse = urllib.request.urlopen("https://www.baidu.com")print(response)====================返回一个一个 HTTPResposne 类型的对象，它包含方法有 read() 、 readinto() 、getheader(name) 、 getheaders() 、 fileno() 等函数和 msg 、 version 、 status 、 reason 、 debuglevel 、 closed 等属性，所以可以通过response 调用这些方法和属性

2> 函数

5. urllib.request.urlopen()

def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,            *, cafile=None, capath=None, cadefault=False, context=None)

1> data

import urllib.parseimport urllib.requestdata = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')response = urllib.request.urlopen('http://httpbin.org/post', data=data)print(response.read().decode()) # 把bety转换为字典形式数据========================{  "args": {},   "data": "",   "files": {},   "form": {    "word": "hello"  },   "headers": {    "Accept-Encoding": "identity",     "Content-Length": "10",     "Content-Type": "application/x-www-form-urlencoded",     "Host": "httpbin.org",     "User-Agent": "Python-urllib/3.7",     "X-Amzn-Trace-Id": "Root=1-63f61236-4616d33d219931e3332ba8b5"  },   "json": null,   "origin": "117.143.152.208",   "url": "http://httpbin.org/post"}

POST 请求:
这里我们传递了一个参数 word ，值是 hello 。它需要被转码成 bytes （字节流）类型。其中转字节流采用了 bytes() 方法；
第一个参数需要是 str (字符串)类型，需要用 urllib.parse.urlencode() 方法来将参数字典转化为字符串。
第二个参数指定编码格式，在这里指定为 utf8

2> timeout

import urllib.requestresponse = urllib.request.urlopen("https://www.baidu.com/?tn=65081411_1_oem_dg",timeout=1)print(response.read().decode())

设置了超时时间是1秒，程序1秒过后服务器依然没有响应，于是抛出了 urllib.error.https://blog.csdn.net/weixin_42914706/article/details/URLError: 异常，错误原因是 timed out;因此我们可以通过设置这个超时时间来控制一个网页如果长时间未响应就跳过它的抓取，利用 try,except 语句就可以实现这样的操作

import urllib.requestimport  socketimport urllib.errortry:    response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)except urllib.error.https://blog.csdn.net/weixin_42914706/article/details/URLError as e:    if  isinstance(e.reason, socket.timeout):            print("Time out!")

3> Request

1. Request 详解

import urllib.requestrequest = urllib.request.Request("https://www.baidu.com")response = urllib.request.urlopen(request)print(response.read().decode("utf-8"))

依然是用 urlopen() 方法来发送这个请求，只不过这次 urlopen() 方法的参数不再是一个https://blog.csdn.net/weixin_42914706/article/details/URL，而是一个 Request ，通过构造这个这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可配置参数更加
丰富和灵活

def __init__(self, url, data=None, headers={},                 origin_req_host=None, unverifiable=False,                 method=None):

2. 传入多个参数构建一个 Request

通过四个参数构造了一个 Request ， url 即请求链接，在 headers 中指定了 User-Agent 和 Host ，传递的参数 data 用了 urlencode() 和 bytes() 方法来转成字节流，另外指定了请求方式为 POST

from urllib import request,parseurl = "http://httpbin.org/post"headers = {    #伪装一个火狐浏览器    "User-Agent":'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',    "host":'httpbin.org'}dict = {    "name":"Germey"}data = bytes(parse.urlencode(dict),encoding="utf8")req = request.Request(url=url,data=data,headers=headers,method="POST")response = request.urlopen(req)print(response.read().decode("utf-8"))=========================={  "args": {},   "data": "",   "files": {},   "form": {    "name": "Germey"  },   "headers": {    "Accept-Encoding": "identity",     "Content-Length": "11",     "Content-Type": "application/x-www-form-urlencoded",     "Host": "httpbin.org",     "User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)",     "X-Amzn-Trace-Id": "Root=1-63f61795-1ff741e6101a79d9442e056c"  },   "json": null,   "origin": "117.143.152.208",   "url": "http://httpbin.org/post"}Process finished with exit code 0

headers 也可以用 add_header() 方法来添加。

req = request.Request(url=url, data=data, method=‘POST’)
req.add_header(‘User-Agent’, ‘Mozilla/4.0 (compatible; MSIE 5.5;Windows NT)’)

如此一来，我们就可以更加方便地构造一个 Request ，实现请求的发送

6. urllib.request高级特性

虽然可以构造 Request ，但是一些更高级的操作，比如 Cookies 处理，代理该怎样来设置？需要更强大的工具 Handler ;
简而言之你可以把它理解为各种处理器，有专门处理登录验证的，有处理 Cookies 的，有处理代理设置的，利用它们我们几乎可以做到任何 HTTP 请求中所有的事情

1> urllib.request.BaseHandler

它是所有其他 Handler 的父类，它提供了最基本的 Handler 的方法，例
如 default_open() 、 protocol_request() 等

实例代码1

import urllib.requestauth_handler = urllib.request.HTTPBasicAuthHandler()auth_handler.add_password(realm='PDQ Application',                          uri='https://mahler:8092/site-updates.py',                          user='klem',                          passwd='kadidd!ehopper')opener = urllib.request.build_opener(auth_handler)urllib.request.install_opener(opener)urllib.request.urlopen('http://www.example.com/login.html'=============================说明 Handler 和 Opener 的使用方法。在这里，首先实例化了一个 HTTPBasicAuthHandler 对象，利用 add_password() 添加进去用户名和密码，相当于建立了一个处理认证的处理器；接下来利用 urllib.request.build_opener() 方法来利用这个处理器构建一个 Opener ，那么这个 Opener 在发送请求的时候就具备了认证功能了。接下来利用 Opener 的 open() 方法打开链接，就可以完成认证了

实例代码2
代理

import urllib.requestproxy_handler = urllib.request.ProxyHandler({'http': 'http://218.202.111.10:80','https': 'https://180.250.163.34:8888'})opener = urllib.request.build_opener(proxy_handler)response = opener.open('https://www.baidu.com')print(response.read())=============================用于说明代理的设置方法，代理可能已经失效。在这里使用了 ProxyHandler ， ProxyHandler 的参数是一个字典，key是协议类型，比如 http 还是 https 等，value是代理链接，可以添加多个代理。然后利用 build_opener() 方法利用这个 Handler 构造一个 Opener ，然后发送请求即可

2> Cookie设置

获取网站的 Cookie

import http.cookiejar, urllib.requestcookie = http.cookiejar.CookieJar() 或则cookie = http.cookiejar.LWPCookieJar(filename)# LWPCookieJar ，同样可以读取和保存 Cookie ，但是保存的格式和 MozillaCookieJar 的不一样，它会保存成与libwww-perl的Set-Cookie3文件格式的 Cookiehandler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)response = opener.open('http://www.baidu.com')for item in cookie:   print(item.name+"="+item.value)========================打印BAIDUID=8D12919D30F39DFDD8FC36AC5F965BD4:FG=1BIDUPSID=8D12919D30F39DFDD1ED7D576F0628B2H_PS_PSSID=36561_38129_37906_37861_38264_38173_38289_38243_38034_38263_37928_38285_26350_22157_37881PSTM=1678009542BDSVRTM=0BD_HOME=1===============================================首先必须声明一个 CookieJar 对象，接下来我们就需要利用 HTTPCookieProcessor 来构建一个 handler ，最后利用 build_opener 方法构建出 opener ，执行 open() 即可

Cookie 实际也是以文本形式保存

filename = 'cookie.txt'cookie = http.cookiejar.MozillaCookieJar(filename)handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)response = opener.open('http://www.baidu.com')cookie.save(ignore_discard=True, ignore_expires=True)===================这时的 CookieJar 就需要换成 MozillaCookieJar ，生成文件时需要用到它，它是 CookieJar 的子类，可以用来处理 Cookie 和文件相关的事件，读取和保存 Cookie ，它可以将 Cookie 保存成 Mozilla 型的格式；运行之后可以发现生成了一个 cookie.txt 文件

从文件读取并利用Cookie 信息

cookie = http.cookiejar.LWPCookieJar()cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)response = opener.open('http://www.baidu.com')print(response.read().decode('utf-8'))===========================利用上面的方式生成了 LWPCookieJar 格式的 Cookie ，然后利用 load() 方法，传入文件名称，后面同样的方法构建 handler 和 opener 即可

python 数据分析之 xlsxwriter文件解析
https://blog.csdn.net/weixin_42914706/article/details/129116587

来源地址：https://blog.csdn.net/weixin_42914706/article/details/129112667

本网页已闲置超过3分钟，按键盘任意键或点击空白处，即可回到网页

最新资讯更多

留言反馈

感谢您的提交，我们服务专员将在30分钟内给您回复

请选择类型问题反馈意见建议倒卖举报不良信息其他

立即提交