正则化项L1和L2的直观理解及L1不可导处理

正则化（Regularization）

成都创新互联是专业的洪湖网站建设公司，洪湖接单;提供成都网站设计、做网站、成都外贸网站建设公司,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行洪湖网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1-norm 和 ℓ2-norm ，中文称作 L1正则化 和 L2正则化 ，或者 L1范数 和 L2范数 。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1即为L1正则化项。

下图是Python中Ridge回归的损失函数，式中加号后面一项α||w||22即为L2正则化项。

一般回归分析中回归w表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。 L1正则化和L2正则化的说明如下：

L1正则化是指权值向量w中各个元素的 绝对值之和 ，通常表示为||w||1

L2正则化是指权值向量w中各个元素的 平方和然后再求平方根 （可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||2

一般都会在正则化项之前添加一个系数，Python中用α表示，一些文章也用λ表示。这个系数需要用户指定。

那添加L1和L2正则化有什么用？ 下面是L1正则化和L2正则化的作用 ，这些表述可以在很多文章中找到。

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择

L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

稀疏模型与特征选择

上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？

稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0.

通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。

L1和L2正则化的直观理解

这部分内容将解释 为什么L1正则化可以产生稀疏模型（L1是怎么让系数等于零的） ，以及 为什么L2正则化可以防止过拟合 。

L1正则化和特征选择

假设有如下带L1正则化的损失函数：

J=J0+α∑w|w|(1)

其中J0是原始的损失函数，加号后面的一项是L1正则化项，α是正则化系数。注意到L1正则化是权值的 绝对值之和 ，J是带有绝对值符号的函数，因此J是不完全可微的。机器学习的任务就是要通过一些方法（比如梯度下降）求出损失函数的最小值。当我们在原始损失函数J0后添加L1正则化项时，相当于对J0做了一个约束。令L=α∑w|w|，则J=J0+L，此时我们的任务变成 在L约束下求出J0取最小值的解 。考虑二维的情况，即只有两个权值w1和w2，此时L=|w1|+|w2|对于梯度下降法，求解J0的过程可以画出等值线，同时L1正则化的函数L也可以在w1w2的二维平面上画出来。如下图：

图1  L1正则化

图中等值线是J0的等值线，黑色方形是L函数的图形。在图中，当J0等值线与L图形首次相交的地方就是最优解。上图中J0与L在L的一个顶点处相交，这个顶点就是最优解。注意到这个顶点的值是(w1,w2)=(0,w)。可以直观想象，因为L函数有很多『突出的角』（二维情况下四个，多维情况下更多），J0与这些角接触的机率会远大于与L其它部位接触的机率，而在这些角上，会有很多权值等于0，这就是为什么L1正则化可以产生稀疏模型，进而可以用于特征选择。

而正则化前面的系数α，可以控制L图形的大小。α越小，L的图形越大（上图中的黑色方框）；α越大，L的图形就越小，可以小到黑色方框只超出原点范围一点点，这是最优点的值(w1,w2)=(0,w)中的w可以取到很小的值。

类似，假设有如下带L2正则化的损失函数：

J=J0+α∑ww2(2)

同样可以画出他们在二维平面上的图形，如下：

图2  L2正则化

二维平面下L2正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J0与L相交时使得w1或w2等于零的机率小了许多，这就是为什么L2正则化不具有稀疏性的原因。

L2正则化和过拟合

拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

那为什么L2正则化可以获得值很小的参数？

以线性回归中的梯度下降法为例。假设要求的参数为θ，hθ(x)是我们的假设函数，那么线性回归的代价函数如下：

J(θ)=12m∑i=1m(hθ(x(i))−y(i))(3)

那么在梯度下降法中，最终用于迭代计算参数θ的迭代式为：

θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(4)

其中α是learning rate. 上式是没有添加L2正则化项的迭代公式，如果在原始代价函数之后添加L2正则化，则迭代公式会变成下面的样子：

θj:=θj(1−αλm)−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(5)

其中 λ就是正则化参数 。从上式可以看到，与未添加L2正则化的迭代公式相比，每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不断减小，因此总得来看，θ是不断减小的。

最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释，当L1的正则化系数很小时，得到的最优解会很小，可以达到和L2正则化类似的效果。

正则化参数的选择

L1正则化参数

通常越大的λ可以让代价函数在参数为0时取到最小值。下面是一个简单的例子，这个例子来自 Quora上的问答 。为了方便叙述，一些符号跟这篇帖子的符号保持一致。

假设有如下带L1正则化项的代价函数：

F(x)=f(x)+λ||x||1

其中x是要估计的参数，相当于上文中提到的w以及θ. 注意到L1正则化在某些位置是不可导的，当λ足够大时可以使得F(x)在x=0时取到最小值。如下图：

图3 L1正则化参数的选择

分别取λ=0.5和λ=2，可以看到越大的λ越容易使F(x)在x=0时取到最小值。

L2正则化参数

从公式5可以看到，λ越大，θj衰减得越快。另一个理解可以参考图2，λ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。

Reference

过拟合的解释：

正则化的解释：

正则化的解释：

正则化的数学解释（一些图来源于这里）：

原文参考：blog.csdn.net/jinping_shi/article/details/52433975

从零开始用Python构建神经网络

从零开始用Python构建神经网络

动机：为了更加深入的理解深度学习，我们将使用 python 语言从头搭建一个神经网络，而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络的内部工作原理，对数据科学家来说至关重要。

这篇文章的内容是我的所学，希望也能对你有所帮助。

神经网络是什么?

介绍神经网络的文章大多数都会将它和大脑进行类比。如果你没有深入研究过大脑与神经网络的类比，那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解。

神经网络包括以下组成部分

? 一个输入层，x

? 任意数量的隐藏层

? 一个输出层，?

? 每层之间有一组权值和偏置，W and b

? 为隐藏层选择一种激活函数，σ。在教程中我们使用 Sigmoid 激活函数

下图展示了 2 层神经网络的结构(注意：我们在计算网络层数时通常排除输入层)

2 层神经网络的结构

用 Python 可以很容易的构建神经网络类

训练神经网络

这个网络的输出 ? 为：

你可能会注意到，在上面的等式中，输出 ? 是 W 和 b 函数。

因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络。

每步训练迭代包含以下两个部分:

? 计算预测结果 ?，这一步称为前向传播

? 更新 W 和 b,，这一步成为反向传播

下面的顺序图展示了这个过程：

前向传播

正如我们在上图中看到的，前向传播只是简单的计算。对于一个基本的 2 层网络来说，它的输出是这样的：

我们在 NeuralNetwork 类中增加一个计算前向传播的函数。为了简单起见我们假设偏置 b 为0：

但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差)。这就要用到损失函数。

损失函数

常用的损失函数有很多种，根据模型的需求来选择。在本教程中，我们使用误差平方和作为损失函数。

误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值。

训练的目标是找到一组 W 和 b，使得损失函数最好小，也即预测值和真实值之间的距离最小。

反向传播

我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置。

为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数。

回想微积分中的概念，函数的导数就是函数的斜率。

梯度下降法

如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图)。这种方式被称为梯度下降法。

但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们。因此，我们需要运用链式求导发在来帮助计算导数。

链式法则用于计算损失函数对 W 和 b 的导数。注意，为了简单起见。我们只展示了假设网络只有 1 层的偏导数。

这虽然很简陋，但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值。

现在我们将反向传播算法的函数添加到 Python 代码中

为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：

Youtube：

整合并完成一个实例

既然我们已经有了包括前向传播和反向传播的完整 Python 代码，那么就将其应用到一个例子上看看它是如何工作的吧。

神经网络可以通过学习得到函数的权重。而我们仅靠观察是不太可能得到函数的权重的。

让我们训练神经网络进行 1500 次迭代，看看会发生什么。 注意观察下面每次迭代的损失函数，我们可以清楚地看到损失函数单调递减到最小值。这与我们之前介绍的梯度下降法一致。

让我们看看经过 1500 次迭代后的神经网络的最终预测结果：

经过 1500 次迭代训练后的预测结果

我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值。

注意预测值和真实值之间存在细微的误差是允许的。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力。

下一步是什么?

幸运的是我们的学习之旅还没有结束，仍然有很多关于神经网络和深度学习的内容需要学习。例如：

? 除了 Sigmoid 以外，还可以用哪些激活函数

? 在训练网络的时候应用学习率

? 在面对图像分类任务的时候使用卷积神经网络

我很快会写更多关于这个主题的内容，敬请期待!

最后的想法

我自己也从零开始写了很多神经网络的代码

虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理。但是我觉得对于有追求的数据科学家来说，理解内部原理是非常有益的。

这种练习对我自己来说已成成为重要的时间投入，希望也能对你有所帮助

python绘制函数图像

raw_input获取的输入是字符串，不能直接用np.array，需要用split进行切分，然后强制转化成数值类型，才能用plot函数

我把你的代码稍微修改了一下，可能不太漂亮，不过能运行了

x=[1,2,3]

a = raw_input('function')

a = a.split(' ')#依空格对字符串a进行切分，如果是用逗号分隔，则改成a.split(',')

b = []

for i in range(len(a)):#把切分好的字符强制转化成int类型，如果是小数，将int改为float

b.append(int(a[i]))

plt.plot(x, b, label='x', color="green", linewidth=1)

为什么L2损失函数会造成图像模糊？

  很多计算机视觉尤其是生成模型的相关论文中经常会提到一个现象： “使用 损失函数会产生模糊的图像”。大多论文中虽然给出了相关的对比实验结果加以佐证，但是如何用较通俗的方式来解释这个现象呢？

  首先来看看 损失函数的定义 （Squared L2 Norm） ：

                

                

  其中 代表样本数， 代表真实数据， 为重建数据。现在我们从概率的角度来解释这一现象。

  生成模型中经常提到一个概念，采样，即Sampling。那么到底什么是采样？为啥要sample from distribution?

  假如我们有一批具有某种共同特点的数据，它们符合同一个但是未知的分布。比如说下图的 。现在我们想要去估计这个分布（或者说去拟合这个函数）。

其中 表示由 参数化的关于输入 的函数（预测函数）。要优化这个公式，意味着我们需要知道对于每一个 ，其对应的函数值 ( fully specified )。显然，我们并不知道函数 各处的函数值。那么上式该如何优化？

  采样（Sampling）为我们提供了一种解决方法。所谓采样就是去收集许多成对的输入-输出( , ), 。如果有足够多并且具有代表性的采样，我们就能通过离散的方式来近似上式的优化过程，即通过这些离散的样本来学习这些样本所在的分布。这些所谓的样本（许多的输入输出数据组合）就构成了我们的训练集。

  此外需要强调的一点是，这种采样的方法已经在几乎所有同类问上取得了可靠的结果。另外这种采样是十分简单和通用的，也 正是我们一直在做的事情 。比如图像描述(Image Caption)问题中，拿到一张图像和其对应的标注；再比如语音问题中拿到一段语音和其对应的文字，这些其实都是Sampling。只不过不同的sampling，其包含的噪声有大有小，反映出数据和真实分布的偏离，也就是最终我们训练集的质量差异。

 我们从简单的一维高斯分布说起

          

其中 为归一化因子， 为高斯分布均值， 代表标准差。现在从机器学习的角度来理解这个式子：对于该高斯分布，如果我们确定了 和 ，那这个分布就确定了。从理论上来说我们就可以从这个分布中采样，从概率估计( PDE )的角度来说，这样就算达到了目的。但是实际应用时 和 往往是不知道的，需要我们去确定。由1 知道，估计参数之前我们往往会sample一个训练集。然后根据这些训练样本 ，我们就可以得到一个关于 的参数化的，对于真实参数 的估计量 。注意这个式子是一种一般的写法，比如这个参数化模型可以用神经网络等等。总之这个估计量就是一个关于 的函数。既然都是 的函数，那么我们很容易想到一个最简单的估计量：

  没错！就是训练集 的统计均值 。说实话，也没那么容易想到...我是看着Ian Goodfellow的花书公式(5.30)打的，上面是这么说的：

   “A common estimator of the Gaussian mean parameter is known as the sample mean ” .

另外，重要的一点在于，对于高斯分布而言，其样本均值是真实均值的一个无偏估计。

  所以这里我们可以令 ，代进上面的那个高斯公式。假设我们取标准差为1，公式可以简化为：

           

对两边取对数，可以得到：

            

注意，我们得到了和 损失函数相同的优化目标。总结一下就是：

  可以放一张经典的图：

  回顾下上面的讨论，我们实际上相当于做了一个假定：这一批数据都是Sample自同一个高斯分布。这个高斯分布的均值是样本均值，标准差为1。注意，在极大似然估计的框架下假设高斯分布是一个很常用的套路，因为高斯分布是所有分布中熵（不确定度）最大的分布，也就是说高斯分布本身注入了最少的先验知识。

  那说了这么多， 损失函数和图像模糊到底有什么关系呢？我们来考虑一个例子，来看看生活中真实的数据是啥样的。

  【假如我们在Google图片中搜索一个词“Car”，会得到很多结果。这里面包括了各种颜色和类型的Car，甚至能搜到车模（哪个车模？）...换句话说，根据一个简单的词Car，有很多种生成图像的方式，不同方式生成的图像可能具有相同的概率（比如我们看到宾利或者汽车总动员都会想到Car）。进一步，我们可以认为，在所有和Car有关的图像构成的真实分布上，有许多个峰值，比如跑车是一个峰，车模是一个峰，等等。对于这种图像分布，我们称之为：多模态 (Multimodal) 。】

注：这里其实还是不是很明白Multimodal的意思，Ian说的Multi-modal是说很多任务对于同一个输入，对应着多个正确的输出。那么那些不属于Multimodal呢？很多图像去噪任务，输入噪声图像，输出去噪图像，算不算Multimodal呢？还是说生活中的图像都是multimodal？？

  所以问题就出现了。假如我们用 （或者 ）作为损失函数，其潜在的假设是我们采集到的样本是都来在同一个高斯分布。但是生活中的实际图像，由于具有多种特征，大部分图像分布的流形都不只有一个峰。如果我们强行用一个单峰的高斯分布，去拟合一个多模态的数据分布，会产生什么样的结果呢？

  我们举一个两个峰的分布（bimodal distribution）作为例子。假如我们的数据集是由两种明显不同类型的数据构成的，表现在数据分布上有两个峰值。因为 损失函数需要减小生成分布和数据集经验分布（双峰分布）直接的差距，而生成分布具有两种类型，我们的模型会尽力去“满足”这两个子分布，最后得到的优化结果如下图所示，即一个位于双峰之间的高斯分布。直观上说，这是由于模型位于中间位置时，总体的距离最小。

  扩展到实际应用上就是说，当我们在使用 损失训练出来的分布中采样时，虽然采集到的样本属于数据集真实分布的几率很低，但是由于处于中间位置，会被大量采集出来。故我们最终得到的生成样本实质上是两种模式(mode)的数据集采集的样本的平均的效果，故产生了模糊图像。

  有许多 loss的替代品可以用于缓解这一现象。如GAN loss，甚至 loss都会取得相对sharp的结果。从直观上说，对于同一个输入，GAN loss不会平均所有可能的Sample，而是随机拿出一个Sample作为生成的样本。（这一现象有没有理论一点的解释？GAN loss为什么可以实现这种操作？）

在2017年的一篇论文 The Unreasonable Effectiveness of Texture Transfer for Single Image Super-resolution 中，作者也提到了在优化MSE时由于"regression-to-the-mean"问题，导致预测结果损失高频信息的情况。

不能直接写出函数的表达式 怎么在python里画函数图象呢？

不写出y=f(x)这样的表达式，由隐函数的等式直接绘制图像，以x²+y²+xy=1的图像为例，使用sympy间接调用matplotlib工具的代码和该二次曲线图像如下（注意python里的乘幂符号是**而不是^，还有，python的sympy工具箱的等式不是a==b，而是a-b或者Eq(a,b)，这几点和matlab的区别很大）

直接在命令提示行的里面运行代码的效果

from sympy import *;

x,y=symbols('x y');

plotting.plot_implicit(x**2+y**2+x*y-1);

交叉熵损失函数是什么？

平滑函数。

交叉熵损失函数，也称为对数损失或者logistic损失。当模型产生了预测值之后，将对类别的预测概率与真实值（由0或1组成）进行不比较，计算所产生的损失，然后基于此损失设置对数形式的惩罚项。

在神经网络中，所使用的Softmax函数是连续可导函数，这使得可以计算出损失函数相对于神经网络中每个权重的导数（在《机器学习数学基础》中有对此的完整推导过程和案例，这样就可以相应地调整模型的权重以最小化损失函数。

扩展资料：

注意事项：

当预测类别为二分类时，交叉熵损失函数的计算公式如下图，其中y是真实类别（值为0或1），p是预测类别的概率（值为0~1之间的小数）。

计算二分类的交叉熵损失函数的python代码如下图，其中esp是一个极小值，第五行代码clip的目的是保证预测概率的值在0~1之间，输出的损失值数组求和后，就是损失函数最后的返回值。

参考资料来源：百度百科-交叉熵

参考资料来源：百度百科-损失函数

网站名称：python损失函数图像的简单介绍
转载注明：http://scyanting.com/article/hhcodg.html