卷积神经网络的算法范文第1篇

关键词：卷积神经网络；自动编码器；非监督训练；多尺度分块；目标识别

中图分类号：TP391.41文献标志码：A英文标题

0引言

对图像中目标的精确和鲁棒识别是模式识别及人工智能领域的核心内容，在道路监控、战场侦察、精确打击等领域中有着重要的作用和广泛的前景。近年来，随着深度神经网络成为机器学习新的热点，基于卷积神经网络（Convolutional Neural Network，CNN）的图像识别算法因其较强的鲁棒性和突出的识别率被学术界和工业界所重视。

Alex等[1]提出基于大型深层CNN的自然图像识别算法，在ImageNet数据集上取得了很高的识别率；Dan等[2]提出了基于多核的CNN，并采用GPU并行运算的方法在三维NORB数据集上取得了很好的识别效果。以上算法虽然都取得了较高的目标识别率，但是由于算法采用有监督的训练方式，需要大量标签数据对网络权重进行调整，当数据量较小时会导致模型前几层网络无法得到充分训练，故只能针对含标签数据较多的大型数据集。针对此问题，目前主流的解决方法是采用特征提取算法对CNN的滤波器集进行非监督的预训练。文献[3]采用稀疏编码提取训练图像的基函数作为CNN的初始滤波器；文献[4]将独立成分分析（Independent Component Analysis，ICA）应用于CNN的预训练阶段，利用ICA训练滤波器集合，使识别率得到了一定提高。然而无论是稀疏编码还是ICA，其特征提取的效果都比较一般，应用于预训练阶段对算法识别率的提升也比较有限。所以如何更好地选择滤波器的预训练算法仍是十分困难的问题。

除了预训练外，影响CNN识别率和鲁棒性的关键参数还有滤波器的尺寸和下采样层的采样间隔。滤波器尺寸反映了CNN对输入图像局部特征的提取情况，文献[5]证明滤波器尺寸对最终识别结果有很大影响，并给出了单层条件下相对最优的滤波器尺寸。下采样层主要负责对特征进行模糊，从而获得平移、尺度等不变性。采样间隔反映了模糊的程度，间隔越大模糊越严重，模糊后的特征保持的全局空间信息就越少。文献[6]证明当采样间隔较小时，即使经过2次卷积和2次最大下采样（maxpooling），网络输出的激活值仍能重构出与原始输入看似相同的图案。然而下采样间隔过小会导致不变性丧失，过大则会损失大量细节信息，两者均会导致识别率的下降。

针对以上问题，本文提出基于多尺度分块卷积神经网络（MultiScale Convolutional Neural Network， MSCNN）的图像目标识别算法。首先利用稀疏自动编码器（Sparse AutoEncoder，SAE）对卷积神经网络的滤波器进行非监督预训练，通过最小化重构误差获得待识别图像的隐层表示，进而学习得到含有训练数据统计特性的滤波器集合，预训练效果相比ICA更好。其次提出多尺度分块的方法构建卷积神经网络，为了增加鲁棒性并减小下采样对特征表示的影响，对输入图像进行多尺度分块形成多个通路，并设计相应尺寸的滤波器进行卷积运算，将不同通路下采样后的输出进行融合从而形成新的特征，输入softmax分类器完成图像目标的识别。最后通过大量实验对比MSCNN算法与经典算法在通用图像识别任务中的识别率和鲁棒性差异，从而验证算法的有效性。

4仿真实验及分析

本文使用STL10公开数据集以及从全色波段的QuiekBird遥感卫星和GoogleEarth软件中截取的遥感飞机图像数据集进行测试实验，将所有图片变为64×64像素的RGB图。选择STL10数据集的原因是因为其含有不包含标签的训练集，可用于本文的非监督预训练算法，且图像中包含更多类内变化。STL10共10类目标，本文选用其中的4类目标进行实验。选择遥感飞机图像数据则是为了验证本文算法在遥感图像解译方面的可用性。该数据集包含5类遥感飞机，共400幅。实验时随机选取遥感飞机图像库中50%的图像作为训练样本，其余作为测试样本。本文的实验环境为CPU2.8GHz、内存3GB的计算机，实现算法的软件为Matlab（2011a）。

4.1算法识别率对比测试

MSCNN的各通路尺寸参数设置如图4所示，每个通道使用300个滤波器，滤波器初始值按照不同通道感受野大小利用稀疏自动编码器预训练得到。编码器设定为3层，稀疏参数ρ设定为0.05，训练周期为400。卷积神经网络的下采样方式采用最大下采样（max pooling）。

按照上述参数设置，通路1输出特征维度为2700，通路2输出特征维度为4800，通路3输出特征维度为4800，MSCNN输出特征维度总共为12300。所有算法的训练周期均为50。传统CNN参数设定与通路1参数设定相同，同样使用300个滤波器，滤波器初始值通过随机初始化得到。输出特征维度为2700。实验结果如表1所示。

从表1可看出，加入LCN的CNN较未加入的CNN对两种数据集的识别率有一定的提高，说明了加入LCN对目标识别率是有一定的贡献的；在两种数据集上MSCNN相比原始CNN都拥有更高的识别率。MSCNN通路1虽然参数设置与CNN相同，但在相同训练周期下识别率较加入LCN的CNN又有一定提高，说明了非监督预训练对识别率提高的有效性。对于STL10数据集，可看出通路2的识别率在3个通路中最高，通路3则最低，这是因为通路3输入的图像尺寸最小，而STL10类内变化很大且目标不全在图像中心，故识别率有所下降。通路之间进行两两累加后识别率都有所提高，在3个通路共同作用时识别率最高，达到83.5%。对于遥感飞机图像集而言，可看出3个通路中通路2的识别率最高，这是因为遥感飞机图像集均为飞机图像，不同类别之间的全局特征差异并不明显，而局部特征更能表示不同的飞机类别。通路3由于输入尺寸较小，识别率稍有下降。同样的，不同通路之间的叠加都让识别率有所提升，最终MSCNN三通路特征融合后的识别率达到了96.5%，完全满足对于可见光遥感图像目标识别的需求。

从表1还可看出，本文算法在3个通路CNN的情况下的识别率较1个通路或2个通路的CNN的识别率高，由此可以推断3个通路CNN所提取的特征具有较强的泛化能力和鲁棒性。此外3个通道能够兼顾不同的尺度，使模型能提取到尺度不同的特征。

4.2算法鲁棒性实验

为验证MSCNN的鲁棒性，在数据集中选取不同类别的图像对其进行平移、尺度、旋转变换，然后计算MSCNN输出的第一层全连接特征与图像变换后输出特征之间的欧氏距离，根据距离的大小可以衡量输出特征对于目标变化的鲁棒性，欧氏距离越小就说明特征对于目标变化越不敏感，鲁棒性就越好。对于STL10选取四类目标进行实验，对比算法为CNN；对于遥感飞机图像集随机选取10幅进行实验，并取距离的平均值，对比算法为ICA和CNN。测试结果如图6～7所示。

图6中虚线表示传统CNN算法得到的结果，实线则表示MSCNN得到的结果，从图6可看出：无论是面对平移、尺度还是旋转变换，MSCNN算法最终输出的特征向量变化率均小于CNN算法，证明其鲁棒性要好于CNN。

从图7也可看出：本文算法对于遥感飞机图像集的平移、尺度、旋转均表现出良好的鲁棒性，相比而言ICA提取的特征鲁棒性较差，目标图像微小的变化就导致了特征较大的改变。本文算法鲁棒性较好首先是因为MSCNN采用非监督的预训练方式，训练得到的滤波器含有更多图像不变性特征；其次是因为MSCNN采用多尺度输入，小块图像输入在一定程度上相当于另一种局部特征，这些特征相比全尺寸输入拥有更好的不变性；最后是MSCNN采用了局部对比度标准化，对于亮度变化较大和存在噪声的目标图像鲁棒性明显增强。

另外，本文算法采用了多通路多尺度分块的方法，必然会使网络参数增加，从而会使训练时间比较耗时；但在测试阶段，输入样本的计算仅包含一些简单的卷积和下采样，算法复杂度并没有因为通道的增加而增加，因此在测试阶段的实时性较传统的CNN并没有太大变化。

5结语

本文提出了MSCNN算法在卷积神经网络的基础上通过非监督预训练滤波器的方法解决传统卷积神经网络前几层无法得到有效训练的问题。针对传统神经网络对于复杂背景图像识别率不高的问题，利用多尺度输入图像增加局部不变信息，利用不同尺寸滤波器卷积搭配不同下采样间隔的方法在获得特征不变性的同时不至于丧失目标的细节信息，有效提升了识别率和鲁棒性。与经典算法的对比实验结果表明：该方法能够有效识别可见光自然图像和遥感图像，并对平移、尺度和旋转变换具有较强的鲁棒性。

参考文献：

[1]

ALEX K， ILYA S， HINTON G E. ImageNet classification with deep convolutional neural networks[EB/OL]. [20150210]. http：//papers.nips.cc/paper/4824imagenetclassificationwithdeepconvolutionalneuralnetworks.pdf.

[2]

DAN C， UELI M， JURGEN S. Multicolumn deep neural networks for image classification[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2012： 3642-3649.

[3]

KAVUKCUOGLU K， SERMANET P， BOUREAU Y， et al. Learning convolutional feature hierarchies for visual recognition[EB/OL]. [20150210]. http：//cs.nyu.edu/～ylan/files/publi/koraynips10.pdf.

[4]

KAVUKCUOGLU K， RABZATO M， FERGUS R， et al. Learning invariant features through topographic filter maps[C]// IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2009： 1605-1612.

[5]

COATES A， LEE H， NG A Y. An analysis of singlelayer networks in unsupervised feature learning[C]// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Piscataway， NJ： IEEE， 2011： 215-223.

[6]

ZEILER M D， FERGUS， R. Visualizing and understanding convolutional neural networks [C]// ECCV 2014： Proceedings of the 13th European Conference on Computer Vision. Berlin： Springer， 2014： 818-833.

[7]

BALDI P， LU ZHIQIN. Complexvalued autoencoders [J]. Neural Networks， 2012， 33：136-147.

[8]

HAYKIN S.神经网络与机器学习[M].3版.申富饶， 徐烨， 郑俊， 译. 北京： 机械工业出版社， 2011：81-89.（HAYKIN S. Neural Networks and Learning Machines[M]. 3rd ed. SHEN F R， XU Y， ZHENG J， translated. Beijing： China Machine Press， 2011：81-89.

[10]

LECUN Y， BOTTOU L， BENGIO Y. Gradientbased learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[11]

DERMANET P， LECUN Y. Traffic sign recognition with multiscale convolutional networks [C]// Proceedings of the 2011 International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2011： 2809-2813.

[12]

GONG Y C， WANG L W， GUO R Q， et al. Multiscale orderless pooling of deep convolutional activation features[C]// ECCV 2014： Proceedings of the 13th European Conference on Computer Vision. Piscataway， NJ： IEEE， 2014： 392-407.

[13]

JARRETT K， KAVUKCUOGLU K， RANZATO M， et al. What is the best multistage for object architecture？[C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 2146-2153.

[14]

BOUVRIE J. Notes on convolutional neural networks [EB/OL]. [20150210]. http：//math.duke.edu/～jvb/papers/cnn_tutorial.pdf.

Background

This work is partially supported by the National Natural Science Foundation of China （61372167， 61379104）.

ZHANG Wenda， born in 1991， M. S. candidate. His research interests include pattern recognition and artificial intelligence.

卷积神经网络的算法范文第2篇

[关键词]卷积网络，mnist，深度学习；

中图分类号：TP391 文献标识码：A 文章编号：1009-914X（2017）02-0168-01

1 概述

几年来，深度卷积网络技术飞速发展，在图像，语音，自然语言处理等多个人工智能领域纷纷取得领先。深度卷积网络作为深度神经网络的一种，其具有独特的类似于人眼局部感受野的卷积核，以及类似于生物神经的层次级联结构。由于权值共享的特性，网络的参数大大减少，同时降低了对训练数据过拟合的风险，具有比其他种类的深度网络更加易于训练的好处。

2 深度卷积网络

2.1 深度卷积层的结构

一个典型的深度卷积网络结构如图2-1所示。

深度卷积网络的第一层是输入层，接下来是若干个卷基层和下采样层，最后是一个分类器，如softmax分类器，由分类器输出相应的分类结果。通常，每一个卷基层后面都紧跟一个下采样层。在卷基层，利用局部连接和权值共享可以减少网络的训练参数，降低计算的复杂性。通过卷积运算，得到的卷积结果通过sigmoid等激活函数的输出得到这一层的特征图，然后作为下一层（下采样层）的输入。在下采样层。将前一层对应的特征图中相邻若干个特征通过池化操作合并成一个特征。输入的图像数据可以直接传送到第一个卷积层，进行逐层特征学习，最后利用有标签样本数据输入到softmax分类器，通过后向反馈微调整个网络的参数。

2.2 深度卷积网络的学习算法

2.2.1 卷积层的学习

卷积层是利用局部连接和权值共享，减少网络的自由参数个数，降低网络参数选取复杂度。在每一个卷积层中，用一个可学习的卷积核与上一层若干个特征图进行卷积，再通过一个激活函数f，如sigmoid利用式2-1就可以得到相应的输入特征。

这里l表示层数，k是卷积核，*表示二维卷积，表示偏置，是输入特征图集合。

2.2.2 下采样层的学习

下采样层利用图像局部相关性原理，对图像进行子抽样，在减少数据处理量的同时保留有用信息。这里通常是对前一层对应的特征图中的向量特征进行池化操作。池化分为平均池化和最大池化等，池化后特征图数量不变，但特征图变小，输出的特征可用式2-2计算。

其中对应权值，b表示相应偏置，dowm表示下采样函数。

深度卷积网络，输入端直接输入图像像素，采用由前向后的逐层学习方式，计算损失函数，再通过bp算法对整个训练参数进行调整。

3 深度学习中常用方法

3.1 线性校正单元

线性校正单元（ReLU）是当前最普遍使用的非线性激活函数，其函数形式为f（x）=max（x，0）。在过去神经网络通常使用Tanh或Sigmoid函数作为激活函数。研究表明，生理神经元编码可能是以稀疏分布的形式表示，因为神经元的活动电位和突出后效应消耗了绝大部分能量，同时能激活的神经元数量预测在1%至4%之间，所以大部分神经元处在静息状态。尽管ReLU非线性，并且在零点处不可微分，但是它可以生成真正的零来进行稀疏表示，所以对生理神经元激活的拟合更好。实验表明，ReLU作为激活函数，在网络中学习的更快。

3.2 Dropoup

在网络的训练过程中，过拟合是个常见的问题，尤其是在训练大规模网络的时候，Dropout 是处理这个问题的一种方法。Dropout 是指在训练的时候，以随机概率抛弃神经元的连接，进而增加网络的健壮性。若在训练中使用了 Dropout，则会导致网络连接数变少，所以测试的时候需要通过对该层的所有权值等比例缩小，以平均近似训练时的网络。神经元与Dropout 随机挑选的单元进行训练，会使得每个单元不依赖于特定单元从而变得更加健壮，进而产生有用的特征信息。

4 仿真实验

本文采用matlab仿真环境，网络采用五层结构，前两层为卷积层，卷积核分别为3和5。中间两层为全连接，最后一层是softmax分类器。实验结果如图4-1所示。结果可以看到，错误率大约为0.48%左右，此网络拥有很高的识别率。

参考文献

[1] 段宝彬，韩立新. 改进的深度卷积网络及在碎纸片拼接中的应用[J].计算机工程与应用，2014，50（9）：176-181.

[2] 郑昌艳，梅卫，王刚. 基于深度卷积神经网络的蛇形机动航迹图像识别[J].火力与指挥控制，2016.05.

[3] 张宏毅. 基于深度卷e网络的同款商品图像检索研究[J].图形图像，2016.04.

[4] 刘畅. MRI脑影像的深度卷积网络分割和三维可视化[D].

[5] Glorot X， Bordes A， Bengio Y.Deep sparse rectifier neural networks；International Conferenc e on Artificial Intelligence and Statistics[C]， 2011.

[6] Lennie P.The cost of cortical computation [J].Current biology，2003，13（6）：493-497.

卷积神经网络的算法范文第3篇

关键词：卷积神经网络 人体行为识别 Dropout

中图分类号：TP391.41 文献标识码：A 文章编号：1672-3791（2017）04（c）-0028-02

该文采用随机Dropout卷积神经网络，笔者将此法的优点大致概况为将繁琐杂乱的前期图像处理简易化，原来的图像不可以直接输入，现在的原始图像即可实现直输功能，因其特性得到广泛研究与应用。另外，卷积神经网络在图像的处理中能够将指定的姿势、阳光的照射反应、遮避、平面移动、缩小与放大等其他形式的扭曲达到鲁棒性，从而达到良好的容错能力，进而可以发现其在自适应能力方面也非常强大。因为卷积神经网络在之前建立网络模型时，样本库为训练阶段提供的样本，数量有限，品质上也很难满足要求，致使网络权值参数不能够完成实时有效的调度与整理。

1 卷积神经网络

据调查卷积神经网络由K.Fukushima在80年代提出，那时候它被称为神经认知机，这一认知成为当时的第一个网络，后来网络算法发生了规模性变革，由LeCun为代表提出了第一个手写数字识别模型，并成功投入到商业用途中。LeNet被业界冠以卷积神经网络的代表模型，这类系统在很多方面都起到了不容小趋的作用，它多数应用于各类不同的识别图像及处理中，在这些层面上取得了重要成果。

笔者经查阅资料发现卷积神经网络其实是由两个种类组合而来，它们分别是特征提取、分类器，这种组成我们可以看到特征提取类可由一定数量的卷积层以及子采样层相互重叠组合而成，全部都连接起来的1层或者2层神经网络，就是由分类器来进行安排的。卷积神经网络中的局部区域得到的感觉、权值的参数及子采样等可以说是重要网络结构特征。

1.1 基本CNN网络结构

图1中就是最为经典的LeNet-5网络模型结构图。通过图1中我们可以获悉，该模型有输入输出层，除这两层外还有6层，其征提取可在前4层中体现，后两层体现的是分类器。

在特征提取部分，6个卷积核通过卷积，是图像经尺寸为32×32的输入而得见表1，运算过程如式（1）：

（1）

式中：卷积后的图像与一个偏置组合起来，使函数得到激活，因此特征图变诞生了，通过输出得到了6个尺寸的特征图，这6个尺寸均为28×28，近而得到了第一层的卷积，以下笔者把它简要称为c1；那么c1层中的6个同尺寸图再经由下面的子采样2×2尺寸，再演变成特征图，数量还是6个，尺寸却变成了14×14，具体运算如公式（2）：

通过表2我们可以使xi生成的和与采样系数0.25相乘，那么采样层的生成也就是由加上了一个偏置，从而使函数被激活形成了采样层的第1个层次，以下我们简要称为s1；这种过程我们可反复运用，从而呈现出卷积层中的第2层，可以简要称之为c2，第2层简称s2；到目前为止，我们对特征的提取告一段落。

神经网络的识别，我们可以看到它是由激活函数而形成的一个状态，这一状态是由每个单元的输出而得；那么分类器在这里起到的作用是将卷积层全部连接起来，这种通过连接而使1层与上面1层所有特征图进行了串连，简要称之为c5；因而2层得到了退变与简化效应，从而使该神经网络成为经典，简要称之为F6，向量及权值是由F6 输送，然后由点积加上偏置得到结果的有效判定。

1.2 改进的随机DropoutCNN网络

1.2.1 基本Dropout方法

神经网络泛化能力能够得到提升，是基于Dropout方法的深入学习。固定关系中存在着节点的隐含，为使权值不再依附于这种关系，上述方法可随机提取部分神经元，这一特性是通过利用Dropout在网络训练阶段中随机性而得，对于取值能够有效的存储及保护存留，这一特性在输出设定方面一定要注重为0，这些被选择的神经元随然这次被抽中应用，但并不影响下次训练的过程，并具还可以恢复之前保留的取值，那么每两个神经元同时产生作用的规避，可以通过重复下次随机选择部分神经元的过程来解决；我们通过这种方法，使网络结构在每次训练阶段中都能呈现不同变化，使一些受限制的特征，不再受到干扰，使其真正能展现自身的优点，在基于Dropout方法中，我们可以将一些神经元的一半设为0来进行输出，随机神经元的百分比可控制在50%，有效的避免了特征的过度相似与稳合。

1.2.2 随机Dropout方法

Dropout方法就是随机输出为0的设定，它将一定比例神经元作为决定的因素，其定义网络在构建模型时得到广泛采用。神经元基于随机Dropout的方法是该文的重要网络输出途径，通过设定输出为0，使其在网络中得到变。图2是随机Dropout的加入神经元连接示意图，其在图中可知两类神经元：一类是分类器的神经元，这一阶段的神经元可分榱讲悖涣硪焕嗌窬元是由输出而形成的层次。模型在首次训练的阶段会使神经元随机形成冻结状态，这一状态所占的百分比为40%、60%，我们还可以看到30%及50%的神经元可能在网络随机被冻结，那么这次冻结可以发生在模型第二次训练，那么第三次神经元的冻结可从图示中得出70%及40%，还可以通过变化用人工设置，其范围值宜为35%～65%，那么网络神经元连接次序的多样化，也因此更为突出与精进，网络模型的泛化能力也得到了跨越势的提高。

2 实验及结果分析

2.1 实验方法

卷积神经网络通过实验，通过输入层呈现一灰色图像，该图像尺寸被设定成28×28的PNG格式，这里我们以图像框架图得到双线性差值，用来处理图像及原视频中的影像，将框架图的卷积核设定为5×5的尺寸，子采样系数控制值为0.25，采用SGD迭代200次，样本数量50个进行设定，一次误差反向传播实现批量处理，进行权值调整。实验采用交叉验证留一法，前四层为特征提取层，C1-S1-C2-S2按顺序排列，6-6-12-12个数是相应特征，通过下阶段加入随机Dropout，这阶段为双层也就是两层，进行连接，连接层为全体，从而可知结果由分类得出，又从输出层输出。

2.2 实验结果分析

识别错误率可通过卷积神经网络模型，及训练过程与检测过程中可查看到的。在训练阶段中，我们可以将Dropout的网络中融入200次训练，在将没有使用该方法的网络进行相互比较分析，我可以得知，后者训练时的识别错误率稍高于前者，前者与后的相比较所得的差异不是很大，进而我们可知使用Dropout方法，对卷积神经网络在泛化能力上得到有效的提升，从而有效的防止拟合。

3 结语

笔者基于Dropout卷积神经网络，人体行为识别在视频中进行， 通过Weizmann数据集检测实验结果，随机Dropout在分类器中加入。通过实验可以得知：随机Dropout的加入，使卷积神经构建了完美网络模型，并且使其在人体行为识别中的效率赢得了大幅度的提升，近而使泛化能力可以通过此类方法得到提高，可以防止拟合。

参考文献

[1] 其它计算机理论与技术[J].电子科技文摘，2002（6）.

卷积神经网络的算法范文第4篇

【关键词】压缩紧邻 字符识别 正确率

1 研究背景

样本选择是从原有的样本集中某一种选择方式来选出样本子集，是一个能加快数据处理效率，可以节省存储资源并且保证不降低分类性能的可靠方法。样本选择和特征选择在某些方面上有相似之处，一般都是与具体分类预测方法相关联。字符识别是模式识别中一类热门的研究问题，本文将利用样本选择方法结合深度卷积神经网络进行字符识别。

2 加权压缩近邻方法

基于压缩近邻的样本选择方法具有拥有降低存储、缩短运算等特点。郝红卫等人在此基础上提出了加权压缩近邻规则，针对那些未被选中的边缘样本，可以重复数次对压缩近邻的过程，从而确保样本数据均能够被选上。对于中心样本也能被保留的问题，通过对样本加权评估、再次选择的方式来解决。在选择的过程中可以根据实验需要进行样本数量进行控制，称之为加权压缩近邻规则（Weighted Condensed Nearest Neighbor）。

该算法是通过压缩近邻规则过程的循环保证子集P中有足够多的边界样本，但是其中仍存在大量的冗余，我们依据投票的原则对子集P中样本的代表性进行评估并且再次选择。其具体过程是对于U中的每个样本x找出P中距离最接近的样本xi，如果x和xi的类别是相同的，那么投xi一票。样本获得的票数最高，说明它最具有代表性。根据投票的实际情况和样本的数量来得到最终的子集A。用加权压缩近邻规则获得的子集比压缩近邻规则得到的子集包含更少的冗余样本和更多的具有代表性样本，同时还可以根据实验来控制子集中所含有的样本数。

3 实验结果与分析

本次实验分别使用MNIST和USPS手写体识别库作为训练和测试样本集。

实验平台采用英特尔酷睿i5-4430CPU 3.00GHz，8GB内存，Windows10操作系统，Matlab R2010b。我们设定随机选择和压缩近邻选取MNIST中样本数目为6600个，样本压缩比为10%，USPS库中选取样本数目为1767个，样本压缩比为20.34%。设置深度卷积神经网络训练次数设为100次。

算法给出了基于压缩近邻和BP神经网络手写体字符识别结果。通过融合压缩近邻规则选取样本和BP神经网络实验，在训练时间上虽然没有融合随机选取样本和深度卷积网络实验短，但是在时间上并没有很大幅度延长。在实验的识别错误率上，MNIST库中比随机选择实验提升了1.52%，分类效果提升明显。可见压缩近邻方法可以选择到更好的代表性样本。这两组数据依然说明了压缩近邻对样本选择的可靠性。表1给出了基于压缩近邻和卷积神经网络的手写体字符识别结果。

4 总结

本文主要介绍了基于压缩近邻的样本选择方法。样本选择的提出是为了有效减少样本数量，并且保证不降低训练精确度。在实验中进行验证，通过压缩近邻规则选取样本和深度卷积神经网络实验，证明其能够减少训练样本，提升训练速度，降低存储空间还可以提高识别正确率。

参考文献

[1]郝红卫，蒋蓉蓉.基于最近邻规则的神经网络训练样本选择方法[J].自动化学报，2007，33（12）：1247-1251.

[2]姜文瀚.模式识别中的样本选择研究及其应用[D].南京理工大学，2008.

[3]余凯，贾磊，陈雨强.深度学习的昨天、今天和明天[J].计算机研究与发展，2013，50（09）：1799-1804.

卷积神经网络的算法范文第5篇

>> 用于脑运作分析的前向网络样本重组树生成算法研究 基于三角构成规则的加权有向网络拓扑生成算法 适用于网络渐进传输的多分辨率曲线生成算法 全排列生成算法比较分析 KenKen问题的生成算法研究 曲线生成算法的文献综述 基于列生成算法的集装箱班轮运输网络优化 基于全卷积神经网络的图像缩略图生成算法 传感器网络中一种基于编码的MAC生成算法 数据库关键词检索中候选元组集连接树生成算法的研究 基于分类随机算法的试卷生成算法研究 分析基于列生成算法的动车组检修计划优化 AOS自相似业务流等时帧生成算法的Matlab仿真分析 关于传统空间缓冲区生成算法的分析 基于Bresenham的直线快速生成算法 题库系统中试卷生成算法的改进 一种可用于脑神经网络分析的有向网络分解算法 形式概念演化生成算法 MPI通信代码自动生成算法 一种启发式双代号网络图自动生成算法 常见问题解答 当前所在位置：l.（Xie Qin. Framework of Brain Information Processing[Z].[2013-10-21]. .）

[30]谢勤.WAP算法连续化及其应用[C].毕业论文，2004.

[31]谢勤.一种可用于脑神经网络分析的有向网络分解算法[J].数字化用户，2014，3：113-116.（Xie Qin. An Arithmetic For Neural Network Analysis： From Directed Graph To FFN Trees [J].Digitization user，2014， 3：113-116.）

[32]谢勤.一种可用于脑神经网络分析的有向网络分解算法[C].第八届海内外华人神经科学家研讨会论文集.北京：科学出版社，2014.（Xie Qin. An Arithmetic For Neural Network Analysis： From Directed Graph To FFN Trees [C]. Proceedings of Symposium for Chinese Neuroscientists Worldwide 2014. Beijing： Science Press. 2014.）

[33]谢勤.用于脑运作分析的前向网络样本重组树生成算法研究[C].电子技术与软件工程，2016，4：258-264.（Xie Qin. FeedForward Network Sample Recombination Tree Generating Arithmetic（DG-FFN SR Trees Arithmetic） And Generation Of Sample Recombination Graph [J]. Electronic Technology & Software Engineering， 2016，4：258-264.）

（通讯作者：谢勤）

作者简介

谢勤（1982-），男，A南理工大学硕士，中国神经科学学会会员，工程师，近年在亚组委信息技术部完成核心信息系统――计时记分和成绩处理系统项目实施管理方面的工作，其中计时记分系统投资一亿。主要研究方向为计算机科学与工程、人工智能、神经生物学。

作者单位

1.广州市科技和信息化局 广东省广州市 510000

2.第16届亚运会组委会信息技术部 广东省广州市 510000

3.广州生产力促进中心 广东省广州市 510000

4.广州市科学技术信息研究所 广东省广州市 510000

5.广州市科技创新委员会 广东省广州市 510000