python+selenium对table表和分页处理

2024-04-02 19:55

短信预约 -IT技能 免费直播动态提醒

python+selenium编写实现爬虫过程：

1.爬虫循环处理table表，
2.table表分页处理，
3.网页table所有内容循环处理
4.获取隐藏的href超链接内容，
5.所有数据本地csv保存，

代码如下：

from selenium.webdriver.chrome.options import Options
import pandas as pd
import math
from selenium import webdriver
import time

# 配置chrome的参数
options = Options()
options.add_argument('--headless')
# options.add_experimental_option('excludeSwitches', ['enable-automation']) #避开验证码
# 获取一个浏览器对象
browser = webdriver.Chrome(chrome_options=options)
browser.get("C:\\Users\\XXXX\\XXXX.html")
# 打印整个表格信息
# print(browser.find_element_by_xpath("//*[@id=\"versions-bom-layout\"]/div/div[5]/div/div/div/div[1]/table/tbody").text)
 
 
data = []  # 建立空列表存储表格信息
# 获取总页数（通过二次定位方法进行定位）
# total_pages1 = len(browser.find_element_by_class_name("pagination").find_elements_by_tag_name("li")) - 2
# print("total_pages is %s" % (total_pages1))
 
# 共有多少个组件需要提取
total_num = \
    browser.find_element_by_xpath("//*[@id=\"versions-bom-layout\"]/div/div[5]/div/div/div/div[1]/div").text.split(
        '共')[1]
print(f'total_num====：：：：：：：：{total_num}')
 
total_pages = math.ceil(int(total_num) / 100) + 1  # 每页显示100个组件, 获取总页数
print(f'total_pages====：：：：：：：：{total_pages}')
time.sleep(10)  #
 
# total_pages = len(browser.find_element_by_tag_name('select').find_element_by_tag_name('option'))
for i in range(1, total_pages):  # page:总共有total_pages-1页
    # # 获取分页输入框标签的定位
    # inputpage = browser.find_element_by_xpath("//*[@id='pager_center']/table/tbody/tr/td[5]/input")
    # # 首先清除输入框里面的数字
    # inputpage.clear()
    # # 然后发送页码，我们为了方便，就把第一页也写在了里面
    # inputpage.send_keys(str(i))
    # # 最后模拟键盘点击Enter键
    # inputpage.send_keys(Keys.ENTER)
    # # 为了是数据刷新出来，做了一个小小的死延时处理
 
    time.sleep(10)  # 让浏览器先加载一下动态页面
    t_body = browser.find_element_by_tag_name('tbody')  # 定位表格主体
    tr_list = t_body.find_elements_by_tag_name('tr')  # 定位表格每一行
    numbers = len(tr_list)
    print(f'tr_list[0].text===={tr_list[0].text}')
 
    # for i in range(numbers):
    for tr in tr_list:
        td_list = tr.find_elements_by_tag_name('td')  # 定位表格每个单元格
        lst = []  # 建立空列表存储每行信息
        for td in td_list:
            # lst.append("B-momv2core-121-anyreport-BinaryScan")  # 添加版本信息
            lst.append(td.text)  # 添加每个单元格的文本信息
            href = td_list[4].find_element_by_tag_name('a').get_attribute("href")  # 获当前行第5个td单元格的超链接
        print(u"第n行第n列的text:", href)
        lst.append(href)  # print(u"第一行第二列的text:", href)  # 添加文件链接
        data.append(lst)  # 添加每行信息
 
    # 点击下一页逻辑判断
    # 如果table只有1页，不作处理，直接退出循环
    # 如果table只有2页，点击下一页处理条件（total_pages == 3 and i == 1）
    # 如果table2页以上，点击下一页处理条件（total_pages > 3 and i < (total_pages - 1)）
    if total_pages == 3 and i == 1:
        browser.find_element_by_xpath("//*[contains(text(),'下一页')]").click()
 
    elif total_pages > 3 and i < (total_pages - 1):
        browser.find_element_by_xpath("//*[contains(text(),'下一页')]").click()
 
df = pd.DataFrame(data,
                  columns=['选择', '策略', '审核', '版本组', '匹配数', '3', '4', '5', '6', '7', '8', '9', '10', '来源链接'])
df.to_csv('获取未知xxx.csv', encoding='utf_8_sig')
browser.quit()

效果图：