PYTHON实现对CSV文件多维不同单位数据的归一化处理

1）线性归一化

目前成都创新互联公司已为1000+的企业提供了网站建设、域名、雅安服务器托管、网站托管运营、企业网站设计、源城网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

这种归一化比较适用在数值比较集中的情况，缺陷就是如果max和min不稳定，很容易使得归一化结果不稳定，使得后续的效果不稳定，实际使用中可以用经验常量来代替max和min。

2）标准差标准化

经过处理的数据符合标准正态分布，即均值为0，标准差为1。

3）非线性归一化

经常用在数据分化较大的场景，有些数值大，有些很小。通过一些数学函数，将原始值进行映射。该方法包括log、指数、反正切等。需要根据数据分布的情况，决定非线性函数的曲线。

log函数：x = lg(x)/lg(max)

反正切函数：x = atan(x)*2/pi

Python实现

线性归一化

定义数组：x = numpy.array(x)

获取二维数组列方向的最大值：x.max(axis = 0)

获取二维数组列方向的最小值：x.min(axis = 0)

对二维数组进行线性归一化：

def max_min_normalization(data_value, data_col_max_values, data_col_min_values):

""" Data normalization using max value and min value

Args:

data_value: The data to be normalized

data_col_max_values: The maximum value of data's columns

data_col_min_values: The minimum value of data's columns

"""

data_shape = data_value.shape

data_rows = data_shape[0]

data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):

for j in xrange(0, data_cols, 1):

data_value[i][j] = \

(data_value[i][j] - data_col_min_values[j]) / \

(data_col_max_values[j] - data_col_min_values[j])

标准差归一化

定义数组：x = numpy.array(x)

获取二维数组列方向的均值：x.mean(axis = 0)

获取二维数组列方向的标准差：x.std(axis = 0)

对二维数组进行标准差归一化：

def standard_deviation_normalization(data_value, data_col_means,

data_col_standard_deviation):

""" Data normalization using standard deviation

Args:

data_value: The data to be normalized

data_col_means: The means of data's columns

data_col_standard_deviation: The variance of data's columns

"""

data_shape = data_value.shape

data_rows = data_shape[0]

data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):

for j in xrange(0, data_cols, 1):

data_value[i][j] = \

(data_value[i][j] - data_col_means[j]) / \

data_col_standard_deviation[j]

非线性归一化（以lg为例）

定义数组：x = numpy.array(x)

获取二维数组列方向的最大值：x.max(axis=0)

获取二维数组每个元素的lg值：numpy.log10(x)

获取二维数组列方向的最大值的lg值：numpy.log10(x.max(axis=0))

对二维数组使用lg进行非线性归一化：

def nonlinearity_normalization_lg(data_value_after_lg,

data_col_max_values_after_lg):

""" Data normalization using lg

Args:

data_value_after_lg: The data to be normalized

data_col_max_values_after_lg: The maximum value of data's columns

"""

data_shape = data_value_after_lg.shape

data_rows = data_shape[0]

data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):

for j in xrange(0, data_cols, 1):

data_value_after_lg[i][j] = \

data_value_after_lg[i][j] / data_col_max_values_after_lg[j]

tan的-1次方Python怎么敲

计算器上一般用shift键，再按的tan输入，就是tan的负一次方的。

计算机先选科学型，然后在度与弧度下面有个inv键，按了它后就有tan-1次方，就是arctan的意思，arctan是正切的反函数，计算器上一般用shift键加tan键，就是tan的负一次方的那个。

科学型计算器一般都可以计算，常见的有夏普计算器、卡西欧计算器、得力计算器。arctan也可以写作arctg，是反正切函数，你看看计算机上有没有arctan或者arc^-1注意各个键位上的标示以及该键位所对应的功能键标示，有些功能要先按shift键、alpha等功能。

python之数学相关模块

先来看一下 math 模块中包含内容，如下所示：

接下来具体看一下该模块的常用函数和常量。

ceil(x)

返回 x 的上限，即大于或者等于 x 的最小整数。看下示例：

floor(x)

返回 x 的向下取整，小于或等于 x 的最大整数。看下示例：

fabs(x)

返回 x 的绝对值。看下示例：

fmod(x, y)

返回 x/y 的余数，值为浮点数。看下示例：

factorial(x)

返回 x 的阶乘，如果 x 不是整数或为负数时则将引发 ValueError。看下示例：

pow(x, y)

返回 x 的 y 次幂。看下示例：

fsum(iterable)

返回迭代器中所有元素的和。看下示例：

gcd(x, y)

返回整数 x 和 y 的最大公约数。看下示例：

sqrt(x)

返回 x 的平方根。看下示例：

trunc(x)

返回 x 的整数部分。看下示例：

exp(x)

返回 e 的 x 次幂。看下示例：

log(x[, base])

返回 x 的对数，底数默认为 e。看下示例：

常量

tan(x)

返回 x 弧度的正切值。看下示例：

atan(x)

返回 x 的反正切值。看下示例：

sin(x)

返回 x 弧度的正弦值。看下示例：

asin(x)

返回 x 的反正弦值。看下示例：

cos(x)

返回 x 弧度的余弦值。看下示例：

acos(x)

返回 x 的反余弦值。看下示例：

decimal 模块为正确舍入十进制浮点运算提供了支持，相比内置的浮点类型 float，它能更加精确的控制精度，能够为精度要求较高的金融等领域提供支持。

decimal 在一个独立的 context 下工作，可以使用 getcontext() 查看当前上下文，如下所示：

从上面的结果中我们可以看到 prec=28，这就是默认的精度，我们可以使用 getcontext().prec = xxx 来重新设置精度。接下来通过具体示例看一下。

基本运算

执行结果：

上面结果是用了默认精度，我们重新设置下精度再来看一下：

执行结果：

random 模块可以生成随机数，我们来看一下其常用函数。

random()

返回 [0.0, 1.0) 范围内的一个随机浮点数。看下示例：

uniform(a, b)

返回 [a, b) 范围内的一个随机浮点数。看下示例：

randint(a, b)

返回 [a, b] 范围内的一个随机整数。看下示例：

randrange(start, stop[, step])

返回 [start, stop) 范围内步长为 step 的一个随机整数。看下示例：

choice(seq)

从非空序列 seq 返回一个随机元素。 看下示例：

shuffle(x[, random])

将序列 x 随机打乱位置。看下示例：

sample(population, k)

返回从总体序列或集合中选择的唯一元素的 k 长度列表，用于无重复的随机抽样。看下示例：

参考：

Python--math库

Python math 库提供许多对浮点数的数学运算函数，math模块不支持复数运算，若需计算复数，可使用cmath模块（本文不赘述）。

使用dir函数，查看math库中包含的所有内容：

1） math.pi    # 圆周率π

2） math.e    #自然对数底数

3） math.inf    #正无穷大∞，-math.inf    #负无穷大-∞

4） math.nan    #非浮点数标记，NaN（not a number）

1） math.fabs(x)    #表示X值的绝对值

2） math.fmod(x,y)    #表示x/y的余数，结果为浮点数

3） math.fsum([x,y,z])    #对括号内每个元素求和，其值为浮点数

4） math.ceil(x)    #向上取整，返回不小于x的最小整数

5）math.floor(x)    #向下取整，返回不大于x的最大整数

6） math.factorial(x)    #表示X的阶乘，其中X值必须为整型，否则报错

7） math.gcd(a,b)    #表示a,b的最大公约数

8）  math.frexp(x)      #x = i *2^j，返回（i，j）

9） math.ldexp(x,i)    #返回x*2^i的运算值，为math.frexp(x)函数的反运算

10） math.modf(x)    #表示x的小数和整数部分

11） math.trunc(x)    #表示x值的整数部分

12） math.copysign(x,y)    #表示用数值y的正负号，替换x值的正负号

13） math.isclose(a,b,rel_tol =x,abs_tol = y)    #表示a，b的相似性，真值返回True，否则False；rel_tol是相对公差：表示a，b之间允许的最大差值，abs_tol是最小绝对公差，对比较接近于0有用，abs_tol必须至少为0。

14） math.isfinite(x)    #表示当x不为无穷大时，返回True，否则返回False

15） math.isinf(x)    #当x为±∞时，返回True，否则返回False

16） math.isnan(x)    #当x是NaN，返回True，否则返回False

1） math.pow(x,y)    #表示x的y次幂

2） math.exp(x)    #表示e的x次幂

3） math.expm1(x)    #表示e的x次幂减1

4） math.sqrt(x)    #表示x的平方根

5） math.log（x,base）    #表示x的对数值，仅输入x值时，表示ln(x)函数

6） math.log1p(x)    #表示1+x的自然对数值

7） math.log2(x)    #表示以2为底的x对数值

8） math.log10(x)    #表示以10为底的x的对数值

1） math.degrees(x)    #表示弧度值转角度值

2） math.radians(x)    #表示角度值转弧度值

3） math.hypot(x,y)    #表示(x,y)坐标到原点(0,0)的距离

4） math.sin(x)    #表示x的正弦函数值

5） math.cos(x)    #表示x的余弦函数值

6） math.tan(x)    #表示x的正切函数值

7）math.asin(x)    #表示x的反正弦函数值

8） math.acos(x)    #表示x的反余弦函数值

9） math.atan(x)    #表示x的反正切函数值

10） math.atan2(y,x)    #表示y/x的反正切函数值

11） math.sinh(x)    #表示x的双曲正弦函数值

12） math.cosh(x)    #表示x的双曲余弦函数值

13） math.tanh(x)    #表示x的双曲正切函数值

14） math.asinh(x)    #表示x的反双曲正弦函数值

15） math.acosh(x)    #表示x的反双曲余弦函数值

16） math.atanh(x)    #表示x的反双曲正切函数值

1）math.erf(x)    #高斯误差函数

2） math.erfc(x)    #余补高斯误差函数

3） math.gamma(x)    #伽马函数（欧拉第二积分函数）

4） math.lgamma(x)    #伽马函数的自然对数

arctan换算角度——python实现

对于平面坐标系，任一射线OP与x轴夹角 θ 的范围，可以取[0,2π)或者(-π,π]，如无特殊说明， 我们统一使用后者。

将笛卡尔空间坐标系中的点 Pc = ( x , y , z ) 表示成球体坐标系中的形式 Ps = ( θ , ϕ , r ) 。

atan2(b,a)是4象限反正切，它的取值不仅取决于正切值b/a，还取决于点(b,a) 落入哪个象限：

而 atan(b/a) 仅仅根据正切值为a/b求出对应的角度 (可以看作仅仅是2象限反正切)：

结论： atan 和 atan2函数，建议用 atan2函数

参考文章：

如何用python表示三角函数

在python中，有一个math module，你可以import math，里面有math.sin(), math.cos(), math.asin()和math.acos()四个函数。相信你也知道asin和acos的意思，就是arcsin和arccos。有了这四个函数你就可以求函数值和角度了。但是要注意括号里面填的数值，要用弧度制。

文章题目：python中反正切函数,反正切函数减法
文章出自：http://scyanting.com/article/heicop.html