基于Python的汽车行业大数据分析系统的设计与实现

2023-10-22 08:42

短信预约 -IT技能 免费直播动态提醒

摘要

汽车行业是一个竞争激烈的行业，数据分析在该行业中扮演着越来越重要的角色。因此，基于Python的汽车行业大数据分析系统拥有着广阔的应用前景和市场需求。在这个系统中，我们利用Python语言的高效性和易用性，结合数据挖掘和机器学习技术，可以对汽车行业的大量数据进行多维度分析与处理。这个系统可以帮助企业分析市场趋势、掌握用户需求、预测未来发展趋势、提高经济效益，为汽车行业的可持续发展提供有力支持。

系统主要在Pycharm平台上进行系统开发，主要以Python作为开发语言，使用Pip工具安装Pandas、numpy等Python标准库进行数据清洗、分析。在此基础上安装Web应用框架Django用于搭建系统网站，安装MySQL数据库存储数据，安装Echarts对清洗完的数据转化为图表的形式展示在网站上，主要实现了数据采集、数据挖掘、数据分析以及数据可视化四大模块。

基于Python的汽车行业大数据分析系统具有显著的实际意义。通过实时、可视化地展示汽车品牌的销售数据，能够帮助汽车制造商、经销商以及市场研究人员快速理解市场动态和趋势，从而更好地制定有针对性的市场策略和销售计划。同时，本系统的高性能和可扩展性也使企业能够降低数据分析和处理成本，提高企业在竞争激烈的市场环境中的核心竞争力。

关键词：网络爬虫；汽车行业大数据分析；Python；Django

1. 主要研究内容和方法

1.数据存储模块

数据存储模块的主要任务是对汽车行业数据的各异构数据库进行整合并将数据存储到数据挖掘平台的HDFS中。整合的数据主要包括关系型数据和普通文件数据。系统采用Sqoop开源工具实现对关系型数据库中数据的抽取，而普通文件只需要把文件上传到HDFS文件系统中即可。

2.数据分析模块

数据分析模块是数据挖掘平台的重点与关键，其中集成了各种数据挖掘算法，比如:聚类、分类、关联规则。用户可针对不同的任务选择调度不同的算法。基于该汽车行业数据可视化系统整体架构，进一步研究提出了汽车数据分析系统，重点包括客户情感分析和客户消费分析两个子系统。每一子系统的设计定义可综述如下。

（1）客户情感分析子系统。为了更好地了解用户对不同品牌的喜爱程度，采用决策树技术中的C5.0算法进行分类分析，以得到基于评论数据的用户对各个品牌的喜好排名，进而建立最受欢迎的品牌汽车预测模型。

（2）客户消费分析子系统。为了更好地了解客户的消费程度，采用聚类技术中的k-meanS算法进行聚类分析，以得到基于消费数据的用户是否对汽车定价能够接受，进而建立用户消费行为统计模型。

3.数据展示模块

数据展示模块的主要任务是将数据分析后的结果以图表等形式向用户提供结果或效果展示。汽车销售的管理人员可以根据分析结果展开深层的业务分析，如品牌销量数据、消费数据等。该模块通过RESTAPI与数据分析模块进行交互，采用JSP+JavaScript+jQuery来支持实现。jQuery图表插件能够生成强大且美观的饼图、柱形图等，系统研发中即选用jQuery图表插件来完成图表或报表的定制展示。

本课题主要通过使用python爬取汽车之家网站，采集汽车品牌、型号、价格、评分、发动机、车身结构等数据，然后将数据存放到数据库，前端页面展示统计可视化分析。

本课题研究基于Python的汽车行业大数据分析系统的设计与分析，系统功能主要设计有三部分，一是爬取数据，对数据进行清洗和处理，将数据存储在数据库中；二是统计数据进行可视化分析；三是前端页面的设计和实现。系统用户为管理员角色，登录后可以选择品牌、车型、车身结构、价格、评分等维度进行查看详细统计情况。

本文首先采用文献研究法，在论文撰写前先收集资料，查阅文献，了解系统相关技术或者内容的可行性、现状等，初步确定本文内容研究的内容大纲、基本结构和具体内容。其次通过调查研究法，借助调查的结果，基于大数据掌握汽车品牌销售以及行业的现状，从多方面进行具体分析，借助大量的调查研究，获取有效的建议。最后通过经验总结法，总结基于大数据下的汽车品牌销售问题，并通过论文和设计系统的形式进行表现，利用掌握的程序语言和开发环境进行系统的设计与开发。

3.2 系统需求分析

3.2.1 功能性需求

1.数据存储模块

2.数据分析模块

3.数据展示模块

3.2.2 非功能性需求

（1）系统的实用性

系统的实用性是指系统设计开发的功能简单实用，用户操作起来快捷方便，避免繁琐和多余操作的功能。

（2）系统的安全性

基于Python的汽车行业大数据分析系统记录了用户的个人信息，这些信息要具有较高的价值性，一旦泄露，会对用户造成非常不好的影响。所以确保数据的安全性，要求系统要具备比较强的保密性和防御窃取破坏的能力。

（3）系统的稳定性

系统的稳定性是影响用户操作的重要指标。如果系统不够稳定，用户在使用过程中可能会遇到页面加载慢或者根本加载不出来的情况，非常影响体验。为了保障系统的稳定性，我们应该使用稳定性较高的操作系统、数据库等。

系统的开放性

系统的开放性是指系统具有较强的兼容性，可以在不同的浏览器打开，不用特地使用某个浏览器，方便管理和系统日常的维护升级，表现出出色的开放性。

3.3 业务流程分析

首先，用户根自身情况进行查询，通过对汽车之家网站数据信息进行分析，了解它们的共性和个性的内容，确定哪些汽车行业数据是数据分析过程中需要的，然后利用网络爬虫技术进行信息采集，系统将爬取采集到的数据写入excel中并存储到MySQL数据库中，再通过Python的两个第三方库Pandas和Numpy对数据进行数据清洗和数据分析[5]。最后，通过echarts可视化图表工具提供分析后的数据更直观的展示，让使用者快速的了解数据内容。为了实现对客户端的管理，系统将通过Django框架实现对爬取的数据的进行管理和维护。

系统流程图如图3.2所示：

图3.2 系统流程图

5 系统实现

5.1 数据采集

采集汽车行业数据信息并进行挖掘和分析，可以享受这些数据所带来的价值。目前国内汽车行业数据网站繁多，本系统要获取的数据的定位是有关于汽车行业数据信息的，查询网上资料分析得出汽车销售平台一个比较适合的获取数据来源的站点。

数据采集首先分析本系统的所需的汽车行业数据，再采用 Python 对汽车销售平台的汽车行业数据进行爬取操作[9]。先根据浏览器开发者模式，对该网站的主页面进行分析。如图5.1所示，找出该页面的数据接口，使用 Python 建立虚拟请求方式，定制请求参数，获取响应数据。

图5.1 主页界面

首先打开一个job.cvs文件，再通过火狐浏览器打开汽车销售平台网站，根据Xpath进行定位，获取所需数据所在位置，对其进行爬取操作，爬取完所需的数据，将其保存至job.cvs文件，以便后续分析使用。

数据爬取的核心代码如下所示。

import requests

from bs4 import BeautifulSoup

def get_car_sales_data(url):

response = requests.get(url)

# 如果请求成功，则继续解析数据

if response.status_code == 200:

soup = BeautifulSoup(response.content, 'html.parser')

# 根据网站结构找到包含汽车品牌和销售数据的HTML元素

# 请确保选择正确的元素和类名，此处的示例仅用于演示

car_sales_table = soup.find('table', {'class': 'car-sales-data-table'})

# 获取表格中的行元素（tr）

rows = car_sales_table.find_all('tr')

# 遍历每行，提取品牌和销售数据

car_sales_data = []

for row in rows[1:]: # 跳过表头

cells = row.find_all('td')

if len(cells) >= 2:

brand = cells[0].get_text()

sales = int(cells[1].get_text())

car_sales_data.append((brand, sales))

return car_sales_data

else:

print(f"Request failed, status code: {response.status_code}")

return []

# 爬取汽车品牌和销售数据

url = 'https://example.com/car-sales-data' # 修改为实际的汽车数据源网址

car_sales_data = get_car_sales_data(url)

# 打印爬取到的数据

for brand, sales in car_sales_data:

print(f"{brand}: {sales}")

5.2 数据清洗与转换

首先根据对爬取到的数据，进行提取所需的汽车行业数据，并将数据转换为CSV数据格式，便于后面对数据进行提取操作。然后通过pandas对重复数据、缺失数据和异常数据进行清理，确保数据的准确性、完整性、有效性[10]。最后将所有数据用字典进行封装，再转为CSV格式传回至MySQL数据库，最终完成对汽车行业数据的清洗操作。具体核心代码如下所示。

import pandas as pd

# 读取数据

data = pd.read_csv("car_brand_sales.csv")

# 下面是清洗数据的核心代码：

# 1. 删除重复行

data.drop_duplicates(inplace=True)

# 2. 删除全空行

data.dropna(how='all', inplace=True)

# 3. 处理缺失值（NaN）

# 使用上一行数据填充, 可根据具体情况选择合适的填充方法

data.fillna(method='ffill', inplace=True)

# 4. 格式化数据

# 将销售额转换为数字，去除多余符号（如千分位分隔符、货币符号等）

data["sales"] = data["sales"].apply(lambda x: float(x.replace(",", "").replace("$", "")))

# 5. 删除异常值（可根据具体情况设置阈值）

low_sales_threshold = 0

high_sales_threshold = 1000000

data = data[(data["sales"] > low_sales_threshold) & (data["sales"] < high_sales_threshold)]

# 6. 将品牌名称统一为小写

data["brand"] = data["brand"].apply(lambda x: x.lower())

# 7. 合并同一品牌的销售额

grouped_data = data.groupby("brand").sum().reset_index()

# 保存清洗后的数据至新文件

grouped_data.to_csv("cleaned_car_brand_sales.csv", index=False)

5.3 数据分析处理

根据本项目所需，首先用户能够在 Web 界面上进行汽车行业数据列表查询[8]，接着在工作详情中查询汽车行业数据详细信息和数据分析，最后能够根据销售范围、价格、消费水平和汽车行业数据标签进行数据筛选，筛选后的数据进行数据分析[7]，用户选择合适的汽车行业数据，通过详情地址url访问所在网页，从而与相关汽车公司获得联系。详情界面如图5.2所示。