从傅里叶分析角度解读深度学习的泛化能力

  • 时间:
  • 浏览:1

但如文献 [3] 的另另一个例子所示(下图,图 3a 为目标函数,图 3b 为其离散傅里叶变换),对于层数和神经元数目足够多的 DNN,权重的谱范数(图 3c)基本不变。但如图 3d 所示的频率成分的相对误差,五个重要的频率峰值(图 3b 的小圆孔)仍然是从低频刚开始收敛。对于這個清况 ,文献 [2] 对 DNN 的拟合函数的高频成分的上限估计在训练过程中基本不变,从而如此看出低频到高频学习的频率原则。

很大,低频不再占优,什么都频率原则就很容易失效。若果,激活函数的高频成分也会变大。对于什么频率高到训练数据也看如此的成分,原困分析训练过程如此限制它们,什么都在训练完成后,它们仍然有比较大的幅度而原困分析 DNN 的泛化能力变差。

对于低频占优的目标函数,小幅度的高频成分很容易受到噪音的影响。基于频率原则,提前停止训练(early-stopping)就能在实践中提高 DNN 的泛化能力。

文献 [3] 给出了要能解释什么问提的理论框架。从如此一层隐藏层的 DNN(sigmoid 作为激活函数)刚开始,在傅里叶空间分析梯度下降算法,文献 [3] 得到损失函数 ω 在任一频率分量上对任一参数的导数。

一般来说,在深度学习中,亲们用来测试结论的例子原困分析是手写数字集(MNIST),原困分析是图像分类集(CIFAR)。这两类数据集相对实际应用的数据集随便说说原困分析足够简单,但在分析上,它们仍是非常复杂性的,原困分析它们的输入维度仍然非常高(像素点的个数)。

原文发布时间为:2018-08-24

后面 這個式子显示地定量地说明了在梯度下降过程中低频成分会有更高的优先级。但共同须要注意的是,這個优先级不然后由频率决定,它也依赖于拟合函数与目标函数的差的幅度。

傅里叶分析的理论框架非常好地解释了 DNN 为什么在么在会么会在拥有少量参数的清况 下既能应学训练数据,又能保持好的泛化能力,简单地说,原困分析频率原则,DNN 学习到的函数的频率范围是根据训练数据的须要而达到。对于什么比训练数据的最高频率还高的频率成分,DNN 能保持它们幅度很小。

文献 [2] 对 DNN 学习到的函数的频率幅度的估计如此多能解释什么问提。有点地,对于层数和神经元数目足够多的 DNN,文献 [2] 给出的理论如此解释为什么在么在会么会 DNN 从低频刚开始学习。在文献[2] 中,DNN 的拟合函数的高频成分受权重(weights)的谱范数(spectral norm)控制。对于小规模的DNN,都要能一个劲观察到,权重的范数随训练而增长,从而允许小规模的 DNN 去拟合目标函数中的高频成分。若果,文献 [2] 在理论上给出频率原则的四种 原困分析解释。

一般来说,“平坦”简单的函数会比振荡复杂性的函数有更好的泛化能力。DNN 从目标函数的低频成分刚开始学习。当它学到训练数据的最高频率的前一天,此时频率空间误差趋近于零。原困分析频率空间的误差等于实域空间的误差,什么都它的学习也基本停止了。原来 深度学习学到的函数的最高频率要能被训练数据给限制住。对于小的初始化,激活函数的光滑性很高,高频成分衰减调慢,从而使学习到的函数有更好的泛化能力。

理论上理解深度学习的泛化能力

图2

這個理论分析揭示了对于低频占优的目标函数,当 DNN 的参数是很小的数时,低频成分会先收敛,若果在低频成分收敛的前一天,DNN 的高频成分仍然很小。而当 DNN 拟合高频成分的前一天,原困分析收敛的低频成分只会受到很小的干扰。对高频占优的函数,整个训练过程就会变得复杂性。低频容易受到高频的影响,什么都低频是振荡式的收敛,每振荡一次,要素的最大幅度就会下降。若果频率越低,振荡越频繁(如下图 4 所示)。

F-Principle 并也有另另一个陌生的概念,然后亲们日常生活中一个劲也有用的另另一个原则。想象一下,原困分析让另一两自己去记住另另一个没见过的东西,一般比较粗糙的轮廓信息会先被记住,若果再是什么都细节。没错,DNN 也正是使用了原来 的另另一个学习过程。举另另一个例子,亲们来训练另另一个 DNN 来记住一张图片。DNN 的输入是另另一个位置坐标 (x,y),亲们希望它输出這個位置对应的灰度值。图 2 的一系列图展示了不同训练步数,DNN 学习到的图像,正如亲们前面所猜测的从粗糙的轮廓到细节的学习过程。

本文作者:许志钦

图4

亲们都要能从拟合一维函数出发考虑這個问提。训练数据集是少数有几次均匀采样数据点,原困分析用多项式去拟合,阶数很高的前一天(大于数据点个数),拟合的结果通常是另另一个要能精确刻画训练数据但振荡厉害的函数。但原困分析用 DNN,无论多大规模,通常学习到的曲线也有相对平坦的。原困分析是一维函数,什么都很容易想到,振荡和平坦可用傅里叶分析定量地刻画。于是就自然能猜想到,DNN 在学习的前一天原困分析更加偏爱低频成分。

其中,对应神经元的权重(weight),是关于对应神经元所有参数和频率 ω 的另另一个项式,A(ω) 是学习到的函数与目标函数的差的幅度。文献 [3] 论述了這個表达式如何定性的推广到一般 DNN。

图1

下面是另另一个一维函数的例子 [1](图 1a 中的小圆孔),对数据作离散傅里叶变换后如图 1b 所示,考虑图 1b 中的频率峰值(小圆孔)在训练中的相对误差,如图 1c,频率越高,收敛越慢(天蓝色表示相对误差大,红色表示相对误差小)。频率原则都要能粗糙地表述成:DNN 在拟合目标函数的过程中,有从低频到高频的先后顺序。(Frequency Principle or F-Principle in [1], or spectral bias in [2]

总结

对于初始化的问提,這個理论框架也给出了解释。原困分析初始化权重很大,原困分析上式中的

用傅里叶分析的深度来研究 DNN 的学习问提仍位于刚开始的阶段,有什么都有趣的问提值得继续深入,比如更加定量地分析 DNN 的学习过程,理解层数和每层深度对训练的不同贡献等等。

本文来自云栖社区合作协议方式伙伴“PaperWeekly”,了解相关信息都要能关注“PaperWeekly”。

从低频到高频的学习原则如此多一个劲对的,比如在文献 [1] 中讨论到的,原困分析目标函数是随机数据点(频率空间如此低频占优的价值形式),原困分析 DNN 的参数的初始化的值比较大,這個原则就会失效。有点是在大初始化的清况 下,DNN 的泛化能力也会变差。

经验上理解深度学习的泛化能力

最近有几篇文章 [1,2,3] 从傅里叶分析的深度,在实验和理论上揭示了该悖论眼前 的四种 机制。

深度学习成功地应用在什么都领域,但对它的理论理解却非常匮乏。这两年,什么都理论学家把关注点放入另另一个关于深度学习与传统学习理论的悖论上。在传统学习理论中,模型的参数如此多,模型一般会更好地拟合训练数据,但模型的泛化能力(拟合测试数据集的能力)会变差。在深度学习中,参数的数目比训练数据集要大得多,但深度网络(DNN)却通常既能拟合好训练数据,又保持良好的泛化能力。這個违反直觉的问提被亲们称为“明显悖论” (apparent paradox)。

频率原则(F-Principle)

图3. 说明:(d) 展示 (b) 中五个频率峰值在训练中的相对误差