位置：首页-资讯-后端开发

Python数据标准化

2023-09-10 16:39

短信预约 -IT技能 免费直播动态提醒

二.Python针对以上几种标准化方法处理数据

三.总结

一.数据标准化方式

1.实现中心化和正态分布的Z-Score

Z-Score标准化是基于原始数据的均值和标准差进行的标准化，假设原转换的数据为x，新数据为x'，那么x'=(x-mean)/std，其中mean和std为x所在列的均值和标准差。

这种方法适合大多数类型的数据，也是很多工具的默认标准化方法。标准化之后的数据是以0为均值，方差为1的正态分布。但是Z-Score方法是一种中心化方法，会改变原有数据的分布结构，不适合用于对稀疏数据做处理。

在很多时候，数据集会存在稀疏性特征，表现为标准差小。并有很多元素的值为0.最常见的稀疏数据集是用来做协同过滤的数据集，绝大部分的数据都是0，仅有少部分数据为1。对稀疏数据做标准化，不能采用中心化的方式，否则会破坏稀疏数据的结构。

2.实现归一化的Max-Min

Max-Min标准化方法是对原始数据进行线性变换，假设原转换的数据为x，新数据为x'，那么x'=(x-min)/(max-min)，其中min和max为x所在列的最小值和最大值。

这种标准化方法的应用非常广泛，得到的数据会完全落入[0,1]，区间内（Z-Score则没有类似区间），这种方法能使数据归一化而落到一定的区间内，同时还能较好地保持原有数据结构。

3.用于稀疏数据的MaxAbs

最大值绝对值标准化(MaxAbs)即根据最大值的绝对值进行标准化，假设原转换的数据为x，新数据为x'，那么x'=x/|max|，其中max为x所在列的最大值。

MaxAbs方法跟Max-Min用法类似，也是将数据落入一定区间，但该方法的数据区间为[-1,1]。MaxAbs也具有不破坏原有数据分布结构的特点，因此也可以用于稀疏数据、稀疏的CSR或CSC矩阵。

4.针对离群点的RobustScaler

某种情况下，假如数据集中有离群点，我们可以使用Z-Score进行标准化，但是标准化之后的数据并不理想，因为异常点的特征往往在标准化之后便容易失去离群特征。此时可以使用RobustScaler针对离群点做标准化处理，该方法对数据中心化和数据的缩放健壮性有更强的参数控制能力。

二.Python针对以上几种标准化方法处理数据

import numpy as npfrom sklearn import preprocessingimport matplotlib.pyplot as pltdata=np.loadtxt(r"F:\小橙书\chapter3\data6.txt",delimiter='\t')# Z-Score标准化zscore_scaler=preprocessing.StandardScaler()data_scaler_1=zscore_scaler.fit_transform(data)# Max-Min标准化minmax_scaler=preprocessing.MinMaxScaler()data_scaler_2=minmax_scaler.fit_transform(data)# MaxAbs标准化maxabs_scaler=preprocessing.MaxAbsScaler()data_scaler_3=maxabs_scaler.fit_transform(data)# RobustScaler准化robust_scaler=preprocessing.RobustScaler()data_scaler_4=robust_scaler.fit_transform(data)data_list=[data,data_scaler_1,data_scaler_2,data_scaler_3,data_scaler_4]scaler_list=[15,10,15,10,15,10] #创建点尺寸列表color_list=['pink','green','red','orange','blue']marker_list=['o',',','+','s','p']title_list=['source data','zscore_scaler','minmax_scaler','maxabs_scaler','robust_scaler']plt.figure(figsize=(15,8))for i,data_single in enumerate(data_list):    plt.subplot(2,3,i+1)    plt.scatter(data_single[:,0],data_single[:,-1]               ,s=scaler_list[i]               ,marker=marker_list[i]               ,c=color_list[i])    plt.title=title_list[i]plt.suptitle("row data and standardized data")plt.show()