key words: Feature Normalization, 特征归一化

1 介绍

在这篇博文中，我们将介绍特征归一化（Feature Normalization）方法；
特征归一化FN一般用于图像预处理中，使用T.Normalize(mean, std)来实现；
所以在进行归一化操作时，我们需要知道数据分布的mean和std；
这里，我们认为：mead&std是从训练集中获得的。
于是，首先来看看怎么获得训练集的mead&std；

2 Mead&std（均值和方差）

数据输入：训练集数据
这里来看看均值和方差的数学公式，
均值（离散随机变量的数学期望）：
$$E(X)=\frac{{\sum }_i^N{x}_i}{N}.$$
这里$N$为样本的总个数。
标准差\sigma(X)（离散随机变量的数学期望）：
$$\begin{gathered} D(X)=E(X^2)-{\left[E\left(X\right)\right]}^2 \\ \sigma (X)=\sqrt{D(X)}. \end{gathered}$$
备注：我们这里采用推导式来计算标准差，因为这样通过一次循环就可以计算出std，实现效率会更高一些。
实验结果：实验证明特征归一化是有效的，结果如图所示