【python】爬取豆瓣电影排行榜Top250存储到Excel文件中【附源码】

五、详解代码

        导入所需模块，包括`BeautifulSoup`、`re`、`urllib`和`xlwt`。

from bs4 import BeautifulSoup
import  re  # 正则表达式，进行文字匹配
import urllib.request,urllib.error  # 指定URL，获取网页数据
import xlwt  # 进行excel操作

        主函数，主要包含三个步骤：获取数据、保存数据和打印成功信息。

def main():
    baseurl = "https://movie.douban.com/top250?start="
    datalist = getdata(baseurl)
    savepath = ".\\豆瓣电影top250.xls"
    savedata(datalist, savepath)

        这里使用正则表达式对html页面进行匹配，获取需要的信息，返回的是匹配到的模式对象。 

获取网页数据的函数，包括以下步骤：
1. 循环10次，依次爬取不同页面的信息；
2. 使用`urllib`获取html页面；
3. 使用`BeautifulSoup`解析页面；
4. 遍历每个div标签，即每一部电影；
5. 对每个电影信息进行匹配，使用正则表达式提取需要的信息并保存到一个列表中；
6. 将每个电影信息的列表保存到总列表中。

def getdata(baseurl):
    datalist = []
    for i in range(0, 10):
        url = baseurl + str(i * 25)  
        html = geturl(url)
        soup = BeautifulSoup(html, "html.parser")  
        for item in soup.find_all("div", class_='item'):  
            data = []  
            item = str(item) 
            link = re.findall(findLink, item)[0]  
            data.append(link)

            imgclass="lazy" data-src = re.findall(findImgclass="lazy" data-src, item)[0]
            data.append(imgclass="lazy" data-src)

            titles = re.findall(findTitle, item) 
            if (len(titles) == 2):
                onetitle = titles[0]
                data.append(onetitle)
                twotitle = titles[1].replace("/", "") 
                data.append(twotitle)
            else:
                data.append(titles)
                data.append(" ") 

            rating = re.findall(findRating, item)[0] 
            data.append(rating)

            judgeNum = re.findall(findJudge, item)[0]  
            data.append(judgeNum)

            inq = re.findall(findInq, item) 
            if len(inq) != 0:
                inq = inq[0].replace("。", "")
                data.append(inq)
            else:
                data.append(" ")

            bd = re.findall(findBd, item)[0]
            bd = re.sub('(\s+)?', " ", bd)
            bd = re.sub('/', " ", bd)
            data.append(bd.strip()) 
            datalist.append(data)
    return datalist

将获取到的数据保存到excel文件中，包括以下步骤：
1. 创建一个excel文件；
2. 在文件中创建一个工作表；
3. 写入execl项目栏，即第一行的标题；
4. 循环保存每一部电影的信息。

def savedata(datalist, savepath):
    workbook = xlwt.Workbook(encoding="utf-8", style_compression=0)  ##style_compression=0不压缩
    worksheet = workbook.add_sheet("豆瓣电影top250", cell_overwrite_ok=True)  # cell_overwrite_ok=True再次写入数据覆盖
    column = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息")  ##execl项目栏
    for i in range(0, 8):
        worksheet.write(0, i, column[i])  # 将column[i]的内容保存在第0行，第i列
    for i in range(0, 250):
        data = datalist[i]
        for j in range(0, 8):
            worksheet.write(i + 1, j, data[j])
    workbook.save(savepath)

        使用`urllib`获取网页数据的函数。

def geturl(url):
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
    }
    req = urllib.request.Request(url, headers=head)
    try:  ##异常检测
        response = urllib.request.urlopen(req)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):  ##如果错误中有这个属性的话
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    return html

        程序入口，执行主函数，并打印成功信息。 

if __name__ == '__main__':
    main()
    print("爬取成功！！！")

六、效果展示

七、文末送书

参与活动

1️⃣参与方式：关注、点赞、收藏，评论(人生苦短，我一天我也懒得卷）
2️⃣获奖方式：程序随机抽取 3位，每位小伙伴将获得一本书
3️⃣活动时间：截止到 2024-1-10 22:00:00

注：活动结束后会在我的主页动态如期公布中奖者，包邮到家。

购买链接https://product.dangdang.com/29643392.html

        这本书是美国人工智能领域的权威经典教材，受到广大师生的广泛好评。中文版更是被近百所高校采用，作为专业教科书使用。

        本书第 2 版出版于 2018 年，恰恰在过去的5年中，人工智能技术有了突破性的进展，大模型即是其中的代表。第3版在第 2 版的基础上进行了内容调整和升级，以跟上技术发展的步伐。新增了深度学习、人工智能安全和人工智能编程等新进展、新成果。

        全书内容包括人工智能的历史、思维和智能之辩、图灵测试、搜索、博弈、知识表示、产生式系统、专家系统、机器学习、深度学习、自然语言处理（NLP）、自动规划、遗传算法、模糊控制、安全等。此外，它还介绍了一些新技术和应用，如机器人、高级计算机博弈等。

        这本书是美国人工智能领域的权威经典教材，受到广大师生的广泛好评。中文版更是被近百所高校采用，作为专业教科书使用。

        本书第 2 版出版于 2018 年，恰恰在过去的5年中，人工智能技术有了突破性的进展，大模型即是其中的代表。第3版在第 2 版的基础上进行了内容调整和升级，以跟上技术发展的步伐。新增了深度学习、人工智能安全和人工智能编程等新进展、新成果。

        全书内容包括人工智能的历史、思维和智能之辩、图灵测试、搜索、博弈、知识表示、产生式系统、专家系统、机器学习、深度学习、自然语言处理（NLP）、自动规划、遗传算法、模糊控制、安全等。此外，它还介绍了一些新技术和应用，如机器人、高级计算机博弈等。