卷积网络与深度学习算法浅析

周靖凯

摘 要：在2006年，被称为“深度学习”学习技术的发现，引发了互联网时代学习方式的变革。而今天，这些被称为“深度学习”的技术已经进一步发展并被广泛运用在各个层面，其在计算机视觉，语音识别，自然语言处理等许多重要问题上都发挥了显著的作用。对此，本文就卷积网络与深度学习算法进行了研究与学习，首先从数据集的生成、卷积网络结构的搭建、利用梯度下降算法进行前向传播与反向传播的训练这三个方面对卷积网络进行基本概述，简要介绍了卷积网络的结构和实现方法;之后介绍了如何利用在卷积网络的不同位置进行正则化与随机丢弃节点的方法来优化网络并处理因网络训练过度而引发的过拟合现象;最后利用优化后的卷积网络进行图片的分类测试，得出结论、验证成果，使卷积网络具有识别图片的能力。

关键词：卷积网络;深度学习;过拟合;图像识别

0引言

人类的视觉系统是自然给予的最好礼物之一。正因为有了视觉，人乃至所有生物才能主动的寻找食物、住所等需要的一切，而不是随波逐流的生存。绝大多数成年人可以轻易分辨0～9的数字，但这背后付出的是数十万年的进化与演变，才能极好的适应与理解视觉世界的任务。通过“深度学习”技术开展计算机视觉应用逐渐成为科学技术研究热点。

我们仿造人脑，搭建一个设法利用图片的空间结构的网络，将图片的长度，宽度以及图片的色素作为“空间的长，宽和高”，搭建了一个深度的，多层的网络，它将更加擅长于处理图像识别问题——这就是卷积网络的意义[1]。

1卷积网络的结构和实现方法

1.1卷积网络的结构和示意图

首先我们搭建一个实现图像分类的卷积网络。考虑到需要分类的图片只有65种，训练集与验证集加起来只有4000多张，因此，我们参考LeNet[2]以及Alexnet[3]的网络结构搭建的卷积网络不算太深，具体如下，并如图1所示。

INPUT：（192*192）*3。

第一层：卷积层：卷积核=5*5*3*48，最大池化层=2*2。

第二层：卷积层：卷积核=3*3*48*96，最大池化层=2*2。

第三层：卷积层：卷积核=3*3*96*128。

第四层：卷积层：卷积核=3*3*128*128。

第五层：全连接层：1024个神经元。

第六层：全连接层：1024个神经元。

第七层：softmax输出层：65类。

1.2梯度下降算法与前向，反向传播

网络的前向传播是搭建模型，实现推理的过程，我们会先搭建计算图，再用会话执行。计算图有输入层，隐藏层，输出层三个部分。但要注意，在下面计算层数时，只计算隐藏层和输出层的代数和，即输入层不参与计算层数，层数=隐藏层数+一个输出层。前向传播具体可分三个部分：定义输入和参数，定义前向传播过程，用会话计算结果。

每层网络都由如图2所示的基本神经元构成，公式如下所示：

其中，o为神经元单元的输出值，s为激活函数，w为权重值，x为输入值，b为偏移值。

网络的反向传播是训练模型参数的过程。我们会将大量的特征数据喂给神经网络，再迭代优化网络参数。在反向传播中，我们会对所有参数使用梯度下降算法，使模型在训练数据上的损失参数（loss）最小。即反向传播的训练方法是以减小损失函数（loss）值为优化目标的，出于这一目的，我们使用了随机梯度下降算法。

在这个卷积网络中，我们选用了较为高效的Adam算法，该算法是设计用于替代传统随机梯度下降算法的一个优化算法，使得神经网络权重的更新是基于训练数据进行的。

1.3损失函数（loss）

在神经网络与卷积网络中，损失函数（loss）是指预测值（y）与已知分类值（y_）的差距。基本的定义公式为：

公式中，E为误差值，D为训练集，outputs为神经网络的输出单元，t为训练样本在输出单元的标注输出值，o为训练样本在输出单元的实际输出值。

为使神经网络（NN）优化目标的损失函数最小，我们往往分情况采用均方误差mse（Mean Squared Error）和交叉熵（Cross Entropy）两种算法，并在特殊情况使用自定义算法。在本项目中，使用了交叉熵损失算法。

1.4学习速率（learning-rate）

学习速率是指每次参数更新的幅度。学习速率并不是说越大或是越小就越好，在不同网络中同一学习速率也有很大差别。学习速率过大：振荡会不收敛;学习速率过小：收敛速度会很慢。选择一个合适的学习速率往往令人毫无头绪，但我们可以运用指数衰减学习速率的方式事先计算出一个合适的学习速率，为避免网络冗长，本次学习的学习速率已在搭建网络前算好，我们直接使用。

2训练、测试过程

2.1训练过程

我们将学习速率设置为0.001，训练后的结果如图2。

观察图像后我们可以发现训练集和验证集的交叉熵损失与准确率都在缓慢提升，但是验证集的准确率会低于训练集的准确率，在随着训练时间增加的同时，验证集的准确率却会减慢改变速率，最终几乎保持不变。

再次运行网络一段时间，发现程序对于训练集的判断准确率较高，但对于验证集的判断准确率较低，且两者差距较明显，我们认为可能出现了过拟合现象，应在两者出现偏差时停止训练。

因为本次训练使用的训练集的样本数较少，每个种类的图片只有几十张，所以程序较容易出現过拟合现象，无法提取足够的特征，以至于程序的准确率较低。

为避免过拟合影响程序的准确率，我采用以下三个方法抑制现象：

方法1：输入图片的预处理：

利用tf.image.per_image_standardization函数，将输入的图片进行正则化处理;

利用tf.random_crop与tf.image.random_flip_left_right对图片进行随机裁取与翻转，以扩充训练集;

每一个batch中包含随机选取的64个样本图片。

方法2：卷积神经网络的构建细节：

在每个卷积核的计算中，在利用tf.nn.bias_add将输出与bias相加之后、relu激活函数计算之前，利用函数tf.layers.batch_normalization对结果进行正则化处理，防止进入饱和区;

在最大池化计算之后，利用tf.nn.lrn进行池化后的正则化处理，防止进入饱和区;

在全连接层记性relu激活函数计算后，利用tf.layers.batch_normalization对结果进行正则化处理;

方法3：在全连接层，利用函数tf.nn.dropout随机丢弃神经元处理，防止过拟合。

2.2 测试方法和准确率

利用訓练好的卷积网络，对测试集的图片进行了分类测试。测试集为取自网络的随机64张同类图片，并且该类图片为训练集中已有的分类。对测试集的图片进行了10次测试，测试的准确率如图3所示。由图中可以看到，测试集图片分类的准确率在13%左右，比完全随机判断的准确率1.5%提高了接近10倍，证明该神经网络具有识别图片的能力。

3结论

本文主要简要分析了卷积网络与深度学习算法，首先介绍了卷积网络的由来与其较以往机器学习算法相比的优越性;再简要介绍了卷积网络的结构和实现方法。在训练中，发现了网络中的过拟合现象，并指出了三个具体的解决方案。最后，对卷积网络进行了测试，该网络对图片的识别能力为完全随机判断的10倍左右。

4创新点及展望

设计了一个可用于图片预测分类的卷积神经网络。经过缜密的测试，选择了适用于该网络的超参数，包括合适的网络结构、学习速率、输入图片的预处理方法、过拟合的抑制方法等，使得该网络在经过较少量的训练集图片训练后，对测试图片能输出一个较为合理的分类预测结果。

目前，该卷积网络对测试集图片的预测分类能力尚有提高空间，主要原因在于训练集的图片数量较少，卷积网络对图片的预测能力尚未达到一个较高水平时，训练过程便进入了过拟合的阶段。因此，下一步希望能够进一步扩充训练集的样本图片数量，使得卷积神经网络能够得到较为充足的训练，进一步提高该网络对测试图片的预测能力了。

参考文献

[1] Michael A.Nielsen.“Neural Networks and Deep Learning”[M].Determination Press，2015.

[2] Lecun Y ，Bottou L ，Bengio Y ，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[3] Krizhevsky A，Sutskever I，Hinton G.ImageNet Classification with Deep Convolutional Neural Networks[C].NIPS.Curran Associates Inc.2012.