Python如何处理中国地区信息
本篇文章为大家展示了Python如何处理中国地区信息,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
1.1数据的爬取
代码:
import pandas as pddata=pd.read_csv("example_data.csv",header=1)print(data)data1=pd.read_csv("北京地区信息.csv",header=1,encoding='gbk')data2=pd.read_csv("天津地区信息.csv",encoding='gbk')print(data1)print(data2)
代码运行结果:
首先使用pandas
的read_csv()
方法进行数据的读取,然后就能够看到相应的表格信息。
1.2检查重复数据
dupnum=data.duplicated()print(dupnum)\# 对重复值进行处理caldup=data.drop_duplicates()print(caldup)
代码运行结果:
主要是是使用这个duplicated()
方法进行数据的查重,返回一个布尔序列,仅对唯一元素而言为True
。如果有重复的数据就会在该数值的部分返货Flase
。
然后我们就可以使用drop_duplicates()
进行重复值删除。
1.3检查缺失值
代码:
from pandas import Seriesfrom numpy import NAN\# import pandas as pd series_obj=Series([1,None])pd.notnull(series_obj)\# 上面做的是测试pd.notnull(data)pd.notnull(data1)pd.notnull(data2)
代码运行结果:
使用pd.notnull(data1)
进行非空数值的返回, 返回值是布尔型的矩阵,再取df[布尔型矩阵]返回的是id为非空的行。
1.4 检查异常值
import numpy as np\# 2.4 检查异常值def three_sig(ser1): mean_value=ser1.mean()\# 标准差 std_value=ser1.std()\# 位于3σ范围外的都是异常值\# 数值大于u+3σ小雨u-3σ rule=(mean_value-3*std_value>ser1)|(ser1.mean()+3*ser1.std()<ser1) index=np.arange(ser1.shape[0])[rule] outrange=ser1.iloc[index] return outrangethree_sig(data2["女性"])
代码运行结果:
3σ原则又称为拉依达准则,该准则具体来说,就是先假设一组检测数据只含有随机误差,对原始数据进行计算处理得到标准差,然后按一定的概率确定一个区间,认为误差超过这个区间的就属于异常值。
通俗理解就是正态分布。
上述内容就是Python如何处理中国地区信息,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注编程网行业资讯频道。
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341