头歌：数据预处理之数据清洗

本关任务：完成泰坦尼克号遇难数据的清洗。

案例背景

泰坦尼克号遭遇的灾难震惊世界，如何避免灾难甚至预测灾难呢？ 要实现首先要做好泰坦尼克号的损失数据统计，才能为数据分析打下基础。

编程要求

根据提示，你需要完成：

• 缺失值填充
• 离群点检测

import numpy as np  import pandas as pd  #读取数据  df=pd.read_csv('/data/workspace/myshixun/step1/train.csv')##### begin #####  #查看列中是否存在空值  temp=df.isnull().any()   print(temp)#使用SimpleImputer取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维  age=df['Age'].values.reshape(-1,1)    #导入模块  from sklearn.impute import SimpleImputer   #实例化，均值填充,可改变strategy参数，实现其他填充方式  imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')    #fit_transform一步完成调取结果  imp_mean=imp_mean.fit_transform(age)   #填充好的数据传回到 data['Age']列  df_fillna=df  df_fillna['Age']=imp_mean  #检验是否还有空值，为0即说明空值均已被填充  print(df_fillna['Age'].isnull().sum())  ##### end #####    imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')    imp_mean=imp_mean.fit_transform(age)       df_fillna=df  df_fillna['Age']=imp_mean  #正太分布离群点检测  ##### begin #####  #计算均值  u=df['Age'].mean()   #计算标准差  std=df['Age'].std()   #识别异常值  error = df[np.abs(df['Age'] - u) > 3 * std ]   ##### end #####  print(error)  

来源地址：https://blog.csdn.net/qq_63438638/article/details/128165355