人工神经网络范文第1篇

原理与方法

神经网络是一个具有高度非线性的超大规模连续时间动力系统。是由大量的处理单元(神经元)广泛互连而形成的网络。它是在现代神经科学研究成果的基础上提出的，反映了脑功能的基本特征。但它并不是人脑的真实描写，而只是它的某种抽象、简化与模拟。网络的信息处理由神经元之间的相互作用来实现；知识与信息的存储表现为网络元件互连间分布式的物理联系；网络的学习和计算决定于各神经元连接权系的动态演化过程。因此神经元构成了网络的基本运算单元。每个神经元具有自己的阈值。每个神经元的输入信号是所有与其相连的神经元的输出信号和加权后的和。而输出信号是其净输入信号的非线性函数。如果输入信号的加权集合高于其阈值，该神经元便被激活而输出相应的值。在人工神经网络中所存储的是单元之间连接的加权值阵列。

神经网络的工作过程主要由两个阶段组成，一个阶段是工作期，此时各连接权值固定，计算单元的状态变化，以求达到稳定状态。另一阶段是学习期(自适应期，或设计期)，此时各计算单元状态不变，各连接权值可修改(通过学习样本或其他方法)，前一阶段较快，各单元的状态亦称短期记忆(STM)，后一阶段慢的多，权及连接方式亦称长期记忆(LTM)〔1〕。

根据网络的拓扑结构和学习规则可将人工神经网络分为多种类型，如不含反馈的前向神经网络、层内有相互结合的前向网络、反馈网络、相互结合型网络等〔2〕。本文的人工神经网络模型是采用BP算法的多层前馈网络。

该模型的特点是信号由输入层单向传递到输出层，同一层神经元之间互不传递信息，每个神经元与邻近层所有神经元相连，连接权用Wij表示。各神经元的作用函数为Sigmoid函数，设神经网络输入层的p个节点，输出层有q个节点，k-1层的任意节点用l表示，k层的任意节点用j表示，k+1层的任意节点用l表示。Wij为k-1层的第i个神经元与k层的第j个神经元相连接的权值。k-1层的节点i输出为O(k-1)i，k层节点j的输出为：

k层节点j的输出为：

Okj=f(netkj)

设训练样本为(X，Ye),X为p维向量，加到输入层；Ye为q维向量，对应于期望输出；网络的实际输出Y也是q维向量。网络在接受样本对的训练过程中，采用BP算法，其权值调整量为：

ΔWij=-ηδkjO(k-1)i

其中，对于输出层为：

δkj=yj(1-yj)(yej-yj)

对于非输出层为：

η为训练步长，取0＜η＜1。

用样本集合反复训练网络，并不断修改权值，直到使实际输出向量达到要求，训练过程结束〔3〕。

上述人工神经网络可以完成多种信息处理任务，如从二进制数据中提取相关知识，完成最近邻模式分类，实现数据聚集等。而本文要用的是其极强的数学逼近映射能力，即开发合适的函数f：ARnBRn，以自组织的方式响应以下的样本集合：(x1,y1),(x2,y2)…，(xm,ym)，其中yi=f(xi)。这里描述的是一般的数学抽象，像识别与分类这些计算都可以抽象为这样的一种近似数学映射。

所谓诊断，实质上是一个分类问题。即根据候诊者的症状，医学检查结果(如体温、心跳等)等一些情况，它们可以用一向量(e1,e2,…，em)来表示，将其归类为病人或非病人。这也可以转化为寻找一差别函数f使得：

(1)f(e1，e2，…，em)＞ε，(e1，e2，…，em)∈T

(2)f(e1，e2，…，em)＞ε，(e1，e2，…，em)T

其中集合T表示患病。

因此，病情诊断最终也可作为一类函数的逼近问题。

而许多研究已表明，前向神经网络可作为非线性逼近的标准型。对于实数空间的任一函数，只要它满足一定的条件，一定存在唯一的具有单一隐层的前向网络作为它的最优最佳逼近。而含有两个隐含层的前向网络可在任意的平方误差内逼近某一实函数〔3〕。

诊断步骤

肺癌病例数据选自1981～1994年在某医院住院的病人，共计551例。其中486例(88%)经病理学、细胞学诊断证实为肺癌。每一病例都包括多项数据，其中用于诊断的数据项有：病人的一般情况(如年龄、性别等)，家族史、既往史、吸烟史、术后病理、X射线检查、CT检查、纤维支气管镜检查、PAT痰检等多达58项。因此，原则上58项数据应作为神经网络的输入项，而神经网络的输出值就是病人是否患肺癌的结果。

1.网络训练集的确定：在最原始的551例病人数据中存在着各种各样的差别，如性别差异(419例男性，132例女性)，诊断结果的差异(486例经证实为肺癌)，所患肺癌种类的差异(鳞癌、小细胞癌、大细胞癌等)，患病程度上的差异(早、中晚期的不同)等等。显然，训练数据集应最大限度地保证兼顾各种病例情况。经过仔细筛选，选择了含有460个病例的集合作为肺癌诊断用的网络的训练集。

2.神经网络输入和输出数据的预处理

按照人工神经网络的理论，神经网络的输入输出数据都应该属于(0，1)区间的实数，为此我们需对原始数据进行如下的规一化处理：

其中xi为原始数据项，而Max=max｛xi∶xi∈X｝，Min=min｛xi∶xi∈X｝。这里X为原始数据集。经过(7)式变换后，yi将在(0，1)区间。因此，可作为神经网络的输入输出。

3.应用神经网络进行肺癌诊断

将描述病人各种情况的数据作为前向网络的输入数据加到其输入端，并按(1)～(6)式计算各神经元的输入和输出，同时调整神经元之间的连接权值以使网络的输出和实际的病例情况相符。即当病人确实患肺癌时网络的输出结果也恰好指示为肺癌，反之亦然。如果对所有的训练样本集网络的输出基本上(95%或更高)能保证与实际结果一致，则训练过程结束。我们认为神经网络已建立起病人的各种因素与他是否是肺癌患者之间的函数映射关系。对于一个新的候诊病人来说，只要将他的情况输入到训练好的神经网络中去，根据网络的输出结果就可以知道他是否已患肺癌。

表1基于不同发病因素的诊断网络模型

类型训练集精度测试集精度

基于遗传因素的诊断网53.8%46.3%

基于个人生活习惯的诊断网57.1%44.9%

基于病症的诊断网89.4%83.3%

基于医学检查结果的诊断网98.5%92.6%

上述结果表明不同类型的因素应分开来考虑。于是我们将58项输入数据分成四类，这四类有各自的BP诊断网，依次称为诊断一、诊断二、诊断三、诊断四。它们先单独测定，然后再将它们各自的结果综合起来得出最后的判断。

上述四种诊断网络所得结果的可靠性各不相同。其中，根据医学检查结果所作的诊断准确性最高，因此在最后的综合分析中要重点考虑它的诊断结果，我们给它设一个相对最高的权值。其次，根据病人的症状所作的诊断往往也具有较高的准确性，因此给它的权值也较高，但比医学检查结果的稍低。其他两类因素在有关肺癌的诊断中仅具参考作用，因而所设的权值相对较小。转

最后的结果O为：

O=a1.O1+a2.O2+a3.O3+a4.O4

a1+a2+a3+a4=1

其中Oi，ai,i=1,2,3,4分别为各诊断网的输出及其对应的权值。

当O＞0.5时最后的诊断结果为患肺癌，反之则正常。对所有的病例数据经上述方法的诊断结果见表2。

表2神经网络对肺癌诊断结果分析

神经网络

诊断结果训练数据测试数据

肺癌患者非肺癌患者肺癌患者非肺癌患者

+4602253

-038122

其中对于训练集，肺癌病人的正确检出率为100%，非肺癌病人误诊率为5%。对于测试集，肺癌病人的正确检出率为96.2%；非肺癌患者正确检出率为88%，误诊率为12%。

讨论

1.本研究所采用的人工神经网络的肺癌诊断方法的结果较好地符合了已知数据，具有较高的准确性，特别是对于肺癌患者一般都能准确地做出诊断，有利于肺癌的早期发现和治疗。

2.要想进一步提高该方法的准确性，应该注意收集更多更全面的病例数据。人工神经网络主要是利用它能自动从数据集中抽取函数的关系的功能。如果我们所使用的数据越多越全面，则其中所蕴含的事物本身的规律性就越强，利用人工神经网络从中所抽取的函数关系就越具有普遍性，因而就更准确。

3.实现对肺癌的诊断的关键在于准确找到罹患肺癌的判定函数，可利用前向网络的函数逼近功能来实现。但是这里涉及到两个问题。首先，由于差别函数和预测率函数都是利用人工神经网络从已知的病例数据集中抽取出来的，它实际反映的是这些数据集中输入输出对的映射关系。因此要想保证诊断具有较高的准确性，就应该使用来建立函数关系的这些数据集(称训练集)具有充分的代表性，即这些数据应基本蕴含肺癌诊断的医学原理。这就涉及到如何选择网络合理的训练集及关键的输入项。另一个问题涉及到神经网络本身的要求，即网络的输入输出数据值都应在区间(0，1)中。这可以通过数据的编码和归一化来实现。

4.由于某些原因有些病人的病例数据不完整，约占总病例数据的10%左右。显然，如果按照传统的方法来建立肺癌病人的诊断模型〔4〕，这些有缺项的数据是不太好处理的，但是由于人工神经网络有较强的容错性，输入数据在某些项上的错误对网络最终结果的正确性影响不大。

参考文献

1.焦李成.神经网络系统理论.第1版.西安：西安电子科技大学出版社，1995，3

2.WangZhenni,ThamMingT,MorrisA.MultilayerFeedforwardNeuralNetworks:ACanonicalformApproximationofNonlinearity,IntJ.Control,1992,56(3):655～672.

人工神经网络范文第2篇

关键词：人工神经网络 化工安全评价

化工生产具有易燃、易爆、易挥发、易中毒、有腐蚀性等特点，因而较其他工业生产部门有更大的危险性，安全评价工作是安全生产和安全管理的重要环节，安全评价方法的选择是安全评价工作的关键，直接关系到评价的深度和准确度，影响评价的效果。小波神经网络具有自适应、自组织、自学习的功能和非线性问题的处理能力，可以通过小波神经网络对化工企业安全评价中的评价指标体系进行建模分析与评判。通过MATLAB工具能够方便快速准确地建立小波神经网络，不需要繁琐工作，这让化工安全评价具有了较强的实用价值与现实意义。

本文根据某大型炼油化工有限公司的主要生产工段提供的安全状态原始指标数据，在对整个企业进行安全评价的数据整理和分析基础之上，进行安全评价网络结构、相应参数以及网络训练过程参数的设计，对网络性能进行综合测试，以达到适应石化企业安全评价的目的。根据对某大型炼油化工有限公司提供的原油脱盆脱水工段、减压蒸馏工段、催化裂化_T一段、催化重整工段、加氢裂化工段、延迟焦化工段、炼厂气加工工段的生产装备因素指标安全原始数据进行分析和整理，得出20个实例样本，其中15个样本用来完成对神经网络的训练，5个样本用来结果验证。原始数据的训练结果期望目标值与评价结果的输出如下表（安全评价输出结果等级划分对照表）：

一，安全评价系统神经网络结构的确定

人工神经网络的拓扑结构是由网络的层数、各层的节点数以及节点之间的连接方式组成的。本研究拟采用小波神经网络对化工企业安全生产进行建模评价。如前所述，小波神经网络只有相邻层上的节点相互连接，所以，在设计网络的结构时，关键的参数只涉及到网络的层数和各层的神经元个数。

网络的层数对网络的性能具有重要的影响，确定网络层数的方法是通过大量对实际问题的求解来寻求最合适的网络层数。在确定了网络的层数之后，各层的神经元个数同样也是需要确定的关键参数，神经元的个数对网络的训练及网络收敛速度存在很显著的影响，如果隐含层的节点数太少，网络不能建立复杂的判断界，从而无法识别以前没有的样本，且容错性差；而节点数过多，则学习时间长，使网络的泛化能力降低。在函待解决的评价问题上，对应于各评价指标体系，网络的输入层和输出层的神经元个数是确定的，可以调整的参数是隐含层及隐含层神经元的个数。

在前面分析的基础上，综合考虑整个评价问题，决定采用三层神经网络结构模型。由于化工企业安全评价指标体系中各个单元的评价指标数目不同，在对网络进行训练时隐含层的神经元个数根据各评价单元的收敛情况进行适当的调整。

二、网络样本输入数据的初始化

1，数据初始化的方法

在神经网络的训练过程中，传递激活函数是网络训练的关键环节。传递函数的特征要求输入的信息数据必须在区间[0，1]之内，因此必须对网络训练所需要的原始数据进行初始化处理，使它们转化为分布在[0，1]区间范围内的数据。初始化的具体方法取决于原始数据的数量级，根据每组输入数据中的最大值来确定初始化的数量级，并根据下式确定用于网络输入的数据。

2，网络训练样本数据的准备

根据相关的评价指标体系各单元指标以及对人工神经网络进行理论分析的结果，准备基于神经网络的安全评价模型的训练样本数据。根据对某大型炼油化工有限公司提供的原油脱盐脱水工段、减压蒸馏工段、催化裂化工段、催化重整工段、加氢裂化工段、延迟焦化工段、炼厂气加工工段的安全原始数据进行分析和整理，得出20个实例样本，应用这些实例样本完成对小波神经网络的训练。

在神经网络的训练过程中，传递激活函数是网络训练的关键环节。传递函数的特征要求输入的信息数据必须在区间[O，1]之内，因此必须对网络训练所需要的原始数据进行初始化处理，使它们转化为分布在[O，1]区间范围内的数据表。

3，网络训练过程及结果

根据上面的训练样本数据使用MATLAB6.5软件对网络进行训练，使误差落在要求的范围之内并确定网络内部结构参数权值。网络结构参数表示为（L一M一N），其中，L为网络输入矢量的个数，M为隐含层神经元的个数，N为输出层神经元的个数，在本训练中均为5。网络结构参数确定之后，将获得的原始数据输入，对各因素的网络进行训练，由此可以实现从因素到结果之间映射知识的获取，即分别获得网络单元之间的连接权值向量及各隐含层的阈值向量。

生产装备因素。网络结构参数为（4-11-5），网络迭代次数n=3824.

生产人员素质因素。网络结构参数为（10-12-5），网络迭代次数n=2348.

管理因素。网络结构参数为（3-10-5），网络迭代次数n=3407.

环境条件因素。网络结构参数为（3-7-5），网络迭代次数n=2986.

通过训练获得的神经网络模型即可用于对新的输入进行结果的预测评价。由此可知，蕴藏于神经网络中的知识的获取可以通过计算机软件的学习来实现，参与安全评价的专家只需要提供一定数量的实例以及它们所对应的解，并且只需要知道实例与解之间存在着某种特定关系，而对于究竟具体是何种关系，可以由计算机学习来获得，只要所使用的实例样本空间足够大，就可以比较准确地模拟人的思维判断。

参考文献：

[1]李延渊，吴文新等编著，MATLAB神经网络仿真与应用【M】，科学出版社，2003

人工神经网络范文第3篇

【关键词】人工神经网络 信息技术 发展趋势

人工神经网络技术在处理实际问题主要包括两个过程，一个是学习训练过程，另外一个是记忆联想过程。近年来随着人工网络技术的发展，人工神经网络技术在信号处理、图像处理、智能识别等领域已经取得了巨大的改变，为人们研究各类科学问题提供了一种新的方法和手段，使人们在交通运输、人工智能、军事、信息领域的工作更加便捷，近年来随着AI的发展，人工神经网络技术得到了快速的发展阶段。

1人工神经网络技术

人工神经网络技术也称ANN，是随着上个世纪八十年代人工智能发展兴起的一个研究热点，它的主要工作原理对人脑神经网络进行抽象处理，并仿造人脑神经网络建立简单的模型，按照不同的连接方式组成一个完整的网络，因此学术界也直接将它成为神经网络。神经网络其实就是一种运算模型，它是通过大量的节点——神经元连接起来的，其中不同的节点所代表的输出函数也不同，也就是所谓的激励函数；当有两个节点连接起来时称之为通过该连接信号的加权值，也称为权重，这就相当人脑神经网络记忆。人工神经网络技术是采用并行分布式系统，这种工作机理与传统的信息处理技术和人工智能技术完全不同，是一种全新的技术，它克服了传统基于逻辑符号的人工智能处理非结构信息化和直觉方面的缺陷，具有实时学习、自适应性和自组织性等特点。

2人工神经网络技术应用分析

随着人工神经网络技术的发展，它在模式识别、知识工程、信号处理、专家系统、机器人控制等方面的应用较广。

2.1生物信号的检测分析

目前大部分医学检测设备都是通过连续波形得到相关数据，从而根据所得数据对病情进行诊断。人工神经网络技术就是应用了这样的方式将多个神经元组合起来构成，解决了生物医学信号检测方面的难题，其适应性和独立性强，分布贮藏功能多。在生物医学领域该技术主要应用于对心电信号、听觉诱发电位信号、医学图像、肌电荷胃肠等信号的处理、识别和分析。

2.2医学专家系统

传统的医院专家系统是直接将专家的经验、学历、临床诊断方面取得的成绩等存储在计算机中，构建独立的医学知识库，通过逻辑推理进行诊断的一种方式。进入到二十一世纪，医院需要存储的医学知识越来越多，每天产生新的病况和知识，过去的一些专家系统显然已经无法适应医院的发展需求，因此医院的效率很低。而人工神经网络技术的出现为医院专家系统的构建提出了新的发展方向，通过人工神经网络技术，系统能够自主学习、自己组织、自行推理。因此在医学专家系统中该网络技术应用面较广。麻醉医学、重症医学中生理变量分析和评估较多，目前临床上一些还没有确切证据或者尚未发现的关系与现象，通过人工神经网络便能有效地解决。

2.3市场价格预测

在经济活动中，传统统计方法受到一些因素的制约，无法对价格变动做出准确的预测，因此难免在预测的时候出现失误的现象。人工神经网络技术能够处理那些不完整的、规律不明显、模糊不确定的数据，并作出有效地预测，因此人工神经网络技术具有传统统计方法无法比拟的优势。例如人工神经网络技术可以通过分析居民人均收入、贷款利率和城市化发展水平，从而组建一个完整的预测模型，准确预测出商品的价格变动情况。

2.险评价在从事某一项特定的活动时，由于社会上一些不确定因素，可能造成当事人经济上或者其他方面的损失。因此在进行某一项活动时，对活动进行有效的预测和评估，避免风险。人工神经网络技术可以根据风险的实际来源，构筑一套信用风险模型结构和风险评估系数，从而提出有效地解决方案。通过信用风险模型分析弥补主观预测方面的不足，从而达到避免风险的目的。

3人工神经网络技术未来发展

人工神经网络克服了传统人工智能对语言识别、模式、非结构化信息处理的缺陷，因此在模式识别、神经专家系统、智能控制、信息处理和天气预测等领域广泛应用。随着科学技术的进步，AI的快速发展，AI与遗传算法、模糊系统等方面结合，形成了计算智能，很多企业和国家开始大规模研发AI，人工神经网络正在模拟人类认知的方向发展，目前市场已经有很多不少人工智能产品面世。

4结语

通过上述研究分析，人工神经网络技术已经取得了相应的发展，但还存在很多不足：应用范围狭窄、预测精度低、通用模型缺乏创新等，因此需要我们在此基础上不断寻找新的突破点，加强对生物神经元系统的研究和探索，进一步挖掘其潜在的价值，将人工神经网络技术应用在更多领域中，为社会创造更大的财富。

参考文献

[1]周文婷,孟琪.运动员赛前心理调控的新策略——基于人工神经网络技术的比赛场地声景预测(综述)[J].哈尔滨体育学院学报,2015,33(03):15-21.

[2]张红兰.人工神经网络技术的应用现状分析[J].中国新通信,2014(02):76-76.

人工神经网络范文第4篇

【摘要】 人工神经网络由于其具有高度的自适应性、非线性、善于处理复杂关系的特点，在许多研究领域得到了广泛应用，并取得了令人瞩目的成就。对其目前在医学研究领域中的应用做一简单综述。

【关键词】 人工神经网络； 应用

人工神经网络(Artificial Neural Network，ANN)方法自从本世纪40年代被提出以来，许多从事人工智能、计算机科学、信息科学的科学家都在对它进行研究，已在军事、医疗、航天、自动控制、金融等许多领域取得了成功的应用。目前出现了许多模仿动物和人的智能形式与功能的某个方面的神经网络，例如，Grossberg提出的自适应共振理论（Adaptive Resonance Theory，ART），T-Kohenen的自组织特征映射网络(Self-Organizing feature Map，SOM)，径向基函数网络（Radial Basis Function，RBF），Hopfield网等。进入90年代以后，由于计算机技术和信息技术的发展，以及各种算法的不断提出，神经网络的研究逐渐深化，应用面也逐步扩大，本研究对常用的神经网络方法及其在医学领域中的应用做一简单综述。

1 自组织特征映射网络（self-organizing feature map，SOM）在基因表达数据分析中的应用

1.1 方法介绍

脑神经学的研究表明，人脑中大量的神经元处于空间的不同区域，有着不同的功能，各自敏感着各自的输入信息模式的不同特征。芬兰赫尔辛基大学神经网络专家T.Kohonen根据大脑神经系统的这一特性，于1981年提出了自组织特征映射网络，它模拟人的大脑，利用竞争学习的方式进行网络学习，具有很强的自组织、自适应学习能力，鲁棒性和容错能力，其理论及应用发展很快，目前已在信息处理、模式识别、图像处理、语音识别、机器人控制、数据挖掘等方面都有成功应用的实例。

Kohonen网络由输入层和竞争层组成，网络结构见图1。输入层由N个神经元组成，竞争层由M个输出神经元组成，输入层与竞争层各神经元之间实现全互连接，竞争层之间实行侧向连接。设输入向量为x=(x1，…，xd)T ，输出神经元j对应的权重向量为wj=(wj1，…，wjd)T ，对每一输出神经元计算输入向量x 和权重向量wj 间的距离，据此利用竞争学习规则对权向量进行调节。在网络的竞争层，各神经元竞争对输入模式的响应机会，最后仅一个神经元成为胜利者，并对与获胜神经元有关的各权重朝着更有利于它竞争的方向调整，这样在每个获胜神经元附近形成一个“聚类区”，学习的结果使聚类区内各神经元的权重向量保持与输入向量逼近的趋势，从而使具有相近特性的输入向量聚集在一起，这种自组织聚类过程是系统自主、无教师示教的聚类方法，能将任意维输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。网络通过对输入模式的学习，网络竞争层神经元相互竞争，自适应地形成对输入模式的不同响应，模拟大脑信息处理的聚类功能、自组织、自学习功能，实现用低维目标空间的点去表示高维原始空间的点，其工作原理和聚类算法及改进方法参见相关文献［1］。

1.2 应用

基因芯片技术的应用使得人们可以从基因水平探讨疾病的病因及预后，而基因芯片产生的数据具有高维度（变量多）、样本量小、高噪声的特点，样本量远小于变量数，如何从海量的数据中挖掘信息或知识成为重大课题。聚类分析是数据挖掘中的一类重要技术，传统方法主要有系统聚类、k-means聚类等，但在处理复杂非线性关系及变量间的交互作用时效果较差，受异常值影响较大。近年来神经网络技术法成为聚类领域的研究热点，其中自组织特征映射网络由于其良好的自适应性，其算法对基因表达数据的聚类有较高的稳定性和智能性，尤其在处理基因表达中有缺失数据及原始空间到目标空间存在非线性映射结构时有较好的体现，适用于复杂的多维数据的模式识别和特征分类等探索性分析，同时可实现聚类过程和结果的可视化［2］。目前Kohonen网络已被成功用到许多基因表达数据的分析中，Jihua Huang等［3］设计6×6的网络对酵母细胞周期数据进行分析，总正确率为67.7%；曹晖等［4］将其算法改进后用在酵母菌基因表达数据中，总正确率高达84.73%，有较高的聚类效能；邓庆山［5］将该模型与K平均值聚类方法结合用于公开的结肠基因表达数据集和白血病基因表达数据集，聚类的准确率分别为94.12%和90.32%。目前Kohonen网络在医学领域中主要应用前景有：① 发现与疾病相关的新的未知基因，对目标基因进一步研究，提高诊断的正确率，并对药物的开发研究提供重要的线索；② 对肿瘤组织的基因表达谱数据聚类，以期发现新的、未知的疾病亚型（肿瘤亚型），以便提出更加有针对性的治疗方案，为从分子水平对疾病分型、诊断、预后等提供依据；③ 发现与已知基因有相似功能的基因，为推断未知基因的可能功能提供线索。

2 BP神经网络在医学研究中的应用

2.1 BP神经网络在疾病辅助诊断中的应用

2.1.1 方法介绍

BP神经网络是目前应用最多的神经网络，一般由一个输入层（input layer）、一个输出层（output layer）、一个或几个中间层（隐层）组成。每一层可包含一个或多个神经元，其中每一层的每个神经元和前一层相连接，同一层之间没有连接。输入层神经元传递输入信息到第一隐层或直接传到输出层，隐层的神经元对输入层的信息加权求和，加一个常数后，经传递函数运算后传到下一个隐层（或输出层），常用的传递函数是logistic函数，即Φh=1/(1+exp(-z)) ，输出层神经元对前一层的输入信息加权求和经传递函数Φ0 （线性或logistic函数或门限函数）运算后输出，BP神经网络一般采用BP算法训练网络，关于BP算法及改进可参考相关文献［1］。

人工神经网络具有强大的非线性映射能力，含一个隐层的网络可以实现从输入到输出间的任意非线性映射，是典型的非线性数学模型，建立BP神经网络模型的一般步骤为：① BP网训练集、校验集、测试集的确定；② 输入数据的预处理：使输入变量的取值落在0到1的范围内，如果是无序分类变量，以哑变量的形式赋值；③ 神经网络模型的建立及训练：学习率、传递函数、隐层数、隐单元数的选择，注意防止过度拟合。一般使用灵敏度、特异度、阳性预测值、阴性预测值、ROC曲线对模型的预测性能进行评价。

2.1.2 应用

BP神经网络已广泛用于临床辅助诊断中，白云静等［6］用于中医证候的非线性建模，建立了RA证侯BP网络模型和DN证侯BP网络模型，结果显示平均诊断准确率分别为90.72%、92.21%，具有较高的诊断、预测能力。曹志峰［7］采用PROBEN1中的甲状腺疾病数据库用于甲状腺疾病（甲亢、甲减、正常）的诊断，结果显示训练样本的正确识别率为99.3% ，测试样本的正确识别率为98.2%，提示对临床诊断甲状腺疾病提供有益的帮助；还有学者用于急性心肌梗塞、甲状腺功能紊乱、乳腺癌、前列腺癌、宫颈癌、肺癌、卵巢癌、急性肺梗塞等的辅助诊断等［8］。

2.2 BP神经网络在生存分析中的应用

2.2.1 方法介绍

传统的生存分析方法有非参数、半参数、参数模型，参数模型主要有指数回归模型、Weibull回归模型，都要求对基线风险做一定的假设，但实际资料常常不符合条件，生存分析中应用最为广泛的半参数模型:Cox比例风险模型，但它要求满足比例风险的假定，在很多情况下也难以满足。基于神经网络的生存分析模型可以克服这些困难，可以探测复杂的非线性效应，复杂的交互效应，模型中协变量的效应可以随时间变化，对数据的分布不做要求。目前一些策略被用到神经网络预测方法中分析含有删失的生存数据，主要有Faraggi-Simon(1995)法、Liestol-Andersen-Andersen(1994) 法、改良uckley-James(1979)法等。

BP神经网络建立生存分析模型常用的方法有［9］：连续时间模型（continuous time models）与离散时间模型（discrete time models）。常用的Faraggi和Simon［10］提出的连续时间模型扩展了Cox回归模型，允许非线性函数代替通常的协变量的线性组合，这种方法既保持了Cox回归模型的比例风险的特点，又提供了处理复杂非线性关系、交互作用能力的好方法。

离散时间模型常用的模型有：① 输出层为单个结点：模型的输出层只有一个神经元结点，是最简单的神经网络模型，生存时间被分成两个区间，当研究者仅仅对某一时间点的预后感兴趣时，例如预测癌症患者的5年生存情况，如欲预测多个时间点，则需建立多个神经网络模型（每个模型对应一个时间区间）；② 输出层为多个结点：生存时间被分成几个离散的区间，估计某个时间区间事件发生的概率，Liestol法是常用的离散时间模型。还有研究者在建立多个时间区间模型时将时间也做为一个输入变量，也有学者将神经网络纳入Bayes方法的研究框架。

一般采用灵敏度、特异度、一致性指数C(Concordance index)作为预测准确性的评价指标，神经网络在生存分析中的应用主要在于［11］：个体患者预后的预测，研究预后因子的重要性，研究预后因子的相互作用，对于预测变量的影响力强弱及解释性，还有待进一步探讨。

2.2.2 应用

国外Ruth M.Ripley等［9］将7种不同的神经网络生存分析模型（3种离散时间模型，4种连续时间模型）用于1335例乳腺癌患者复发概率的预测，并对其精确性、灵敏度、特异度等预测性能指标进行比较，结果证明神经网络方法能成功用于生存分析问题，可以提取预后因子所蕴涵的最大可能的信息。Anny Xiang等［12］采用Monte Carlo模拟研究方法，在9种实验条件下（不同的输入结点、删失比例、样本含量等）对Faraggi-Simon法、Liestol-Andersen-Andersen法、改良Buckley-James法处理右删失生存数据的性能与Cox回归作比较，研究结果提示神经网络方法可以作为分析右删失数据的一个有效的方法。D.J.Groves［13］等将Cox回归与神经网络方法对儿童急性淋巴母细胞白血病的预后进行了比较，Lucila Ohno-Machado等［14］建立输出层为4个结点的离散时间神经网络模型做为AIDS预后研究的工具，并使用ROC曲线下面积、灵敏度、特异度、阳性预测值、阴性预测值对不同时间区间的预测性能做了评价。国内用于生存分析方面的研究还较少，黄德生［15］等利用BP神经网络建立time-coded model和single-time point model用于肺鳞癌预后预测，贺佳［16］等把BP网络用于预测肝癌患者术后无瘤生存期，也有学者对AIDS、恶性肿瘤的预后做了相关的研究。

2.3 BP神经网络在其它方面的应用

近年来BP神经网络在疾病筛查中的的应用引起学者的关注，例如在乳腺癌、宫颈癌、糖尿病的筛查都有成功的应用［17］。神经网络在法医学研究领域具有实用性和广泛的应用前景，法医学家将其用在死亡时间推断、死因分析、个体识别和毒物分析等研究中［18］。在药学研究中也有一定的应用，例如在定量药物设计、药物分析、药动/药效学研究中，都有成功的应用案例，相秉仁等［19］对其做了详细的综述。曹显庆［20］等还将神经网络用于ECG、EEG等信号的识别和处理、医学图像分析中，取得了较好的结果。

人工神经网络是在研究生物神经网络的基础上建立的模型，迄今为止有代表性的网络模型已达数10种，人工神经网络不需要精确的数学模型，没有任何对变量的假设要求，能通过模拟人的智能行为处理复杂的、不确定的、非线性问题。在医学研究领域，变量间关系往往非常复杂，为了探测变量间的复杂模式，神经网络正逐渐变成分析数据的流行工具。目前国际上已出现许多著名的神经网络专业杂志：Neural Network，Neural Computation，IEEE Transaction on Neural Networks等，同时已有许多商业化的神经网络开发软件，如Matlab软件， S-plus软件，SNNS(Stuttgart Neural Network Simulator)等，高版本SAS系统中的Enterprise Miner应用模块中也可以建立神经网络模型，随着计算机技术的进一步发展，人工神经网络在医学领域的应用前景也会更加广阔。

【参考文献】

1 余雪丽，主编.神经网络与实例学习.中国铁道出版社，1996.

2 白耀辉，陈明.利用自组织特征映射神经网络进行可视化聚类.计算机仿真，2006，23(1):180~183.

3 Jinua Huang，Hiroshi Shimizu，Suteaki Shioya.Clustering gene expression pattern and extracting relationship in gene network based on artificial neural networks.Journal of bioscience and bioengineering，2003，96(5):421~428.

4 曹晖，席斌，米红.一种新聚类算法在基因表达数据分析中的应用.计算机工程与应用，2007，43(18)：234~238.

5 邓庆山.聚类分析在基因表达数据上的应用研究.计算机工程与应用，2005，41(35):210~212.

6 白云静，申洪波，孟庆刚，等.基于人工神经网络的中医证侯非线性建模研究.中国中医药信息杂志，2007，14（7）:3~4.

7 曹志峰. BP 神经网络在临床诊断中的应用与探讨.实用医技杂志，2005，12(9):2656~2657.

8 William G Baxt. Application of artificial neural networks to clinical medicine. The Lancet，1995，346(8983):1135~1138.

9 Ruth M.Ripley，Adrian L.Harris，Lionel Tarassenko.Non-linear survival analysis using neural networks. Statistics in medicine，2004，23(5):825~842.

10 David Faraggi，Richard Simon.A neural network model for survival data. Statistics in medicine，1995，14(1):73~82.

11 高蔚，聂绍发，施侣元，等.神经网络在生存分析中的应用进展.中国卫生统计，2006，23（4）：358~360.

12 Anny Xiang，Pablo Lapuerta， Alex Ryutov.Comparison of the performance of neural network methods and Cox regression for censored survival data.Computational statistics ＆ data analysis，2000，34(2):243~257.

13 D.J.Groves，S.W.Smye，S.E.Kinsey.A comparison of Cox regression and neural networks for risk stratification in case of acute lymphoblastic leukaemia in children.Neural computing ＆ applications，1999，8(3):257~264.

14 Lucila Ohno-Machado.A comparison of cox proportional hazards and artificial neural network models for medicial prognosis.Comput Biol Med，1997，27(1):55~65.

15 黄德生，周宝森，刘延龄，等.BP人工神经网络用于肺鳞癌预后预测.中国卫生统计，2000，17(6):337~340.

16 贺佳，张智坚，贺宪民.肝癌术后无瘤生存期的人工神经网络预测.数理统计与管理，2002，21（4）：14~16.

17 黎衍云，李锐，张胜年.人工神经网络及其在疾病筛查中的应用前景.环境与职业医学，2006，23(1):71~73.

18 汪岚，刘良.人工神经网络的法医学应用.中国法医学杂志，2005，20(3)：161~163.

人工神经网络范文第5篇

关键词：神经网络；VC维；数据挖掘

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)30-0710-02

A Review of the Research and Development of the Artificial Neural Nets

WANG Hui

(Xinjiang Petroleum Institute,Urumqi 830000,China)

Abstract: This paper reviews the history and the current situation of the theory of neural nets. It discusses two aspects: the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets. It also touches upon such research areas as calculation theory, methods and application of neural nets.

Key words: neural nets;Vapnik-Chervonenkis dimension;Data Mining

1 引言

本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年McCulloch和Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生。

2 发展历史及现状

2.1 人工神经网络理论的形成

早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作[1]，从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。50年代初，神经网络理论具备了初步模拟实验的条件。Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功，几乎有大脑的处理风格。但最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点。再往下做试验，便受到计算机的限制。人工智能的另一个主要创始人Minsky于1954年对神经系统如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt建立的感知器(Perceptron)的学习模型作了深入分析。

2.2 第一阶段的研究与发展

1958年计算机科学家Rosenblatt基于MP模型，增加了学习机制，推广了MP模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型，是一种连续取值的线性网络，主要用于自适应系统。他们研究了一定条件下输入为线性可分问题，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪声，它还可应用在天气预报方面。这是第一个对实际问题起作用的神经网络。可以说，他们对分段线性网络的训练有一定作用，是自适应控制的理论基础。Widrow等人在70年代，以此为基础扩充了ADALINE的学习能力，80年代他们得到了一种多层学习算法。

Holland于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中，建立了遗传算法理论。遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向。1976年Grossberg提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised学习方式。本质上说，仍是一种unsuperrised学习方式。随后，他与Carpenter一起研究ART网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型。另外还有Werbos提出的BP理论以及提出的反向传播原理；Fukushima 提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。

2.3 第二次研究的高潮阶段

Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架，随后，引起许多学者研究Hopfield 网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP完全组合优化问题的求解。这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。这是一种很有效的近似算法。1984年Hinton等人提出了Boltzmann机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。

1986年Rumelhart和McClelland 合著的Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition两卷书出版，对神经网络的进展起了极大的推动作用。它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。他们建立了并行分布处理理论，主要致力于认知的微观研究。尤其是，Rumelhart提出了多层网络Back-Propagation法或称Error Propagation法，这就是后来著名的BP算法。

2.4 新发展阶段

90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题已取得了突出的成果，它是一个重要的研究领域。1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP 参数在线调节方法。尤其是进化计算的概念在1992年形成，促进了这一理论的发展。1993年诞生了国际性杂志Evolutionary Computation。近几年它成为一个热点研究领域。1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。

从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。

3 神经网络的发展趋势

3.1 神经网络VC维计算

神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高。最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题 。PAC(Probably Approximately Correct)学习模型就是这样一个框架。作为PAC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkis dimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构。

Anthony将VC维定义为：设F为一个从n维向量集X到{0, 1}的函数族，则F的VC维为X的子集E的最大元素数，其中E满足：对于任意S?哿E，总存在函数fs ∈F，使得当x ∈ S时fs(x) =1，x?埸S但x∈E时fs(x) =0。

VC维可作为函数族F复杂度的度量，它是一个自然数，其值有可能为无穷大，它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值。对于实函数族，可定义相应的指示函数族，该指示函数族的VC维即为原实函数族的VC维。

3.2 基于神经网络的数据挖掘

1996年，Fayyad、Piatetsky-Shapiro和Smyth对KDD(Knowledge Discovery from Databases)和数据挖掘的关系进行了阐述。但是，随着该领域研究的发展，研究者们目前趋向于认为KDD和数据挖掘具有相同的含义，即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。

数据挖掘的困难主要存在于三个方面：首先，巨量数据集的性质往往非常复杂，非线性、时序性与噪音普遍存在；其次，数据分析的目标具有多样性，而复杂目标无论在表述还是在处理上均与领域知识有关；第三，在复杂目标下，对巨量数据集的分析，目前还没有现成的且满足可计算条件的一般性理论与方法。在早期工作中，研究者们主要是将符号型机器学习方法与数据库技术相结合，但由于真实世界的数据关系相当复杂，非线性程度相当高，而且普遍存在着噪音数据，因此这些方法在很多场合都不适用。如果能将神经计算技术用于数据挖掘，将可望借助神经网络的非线性处理能力和容噪能力，较好地解决这一问题。

4 结束语

经过半个多世纪的研究，神经计算目前已成为一门日趋成熟，应用面日趋广泛的学科。本文对神经计算的研究现状和发展趋势进行了综述，主要介绍了神经网络VC维计算、基于神经网络的数据挖掘领域的相关研究成果。需要指出的是，除了上述内容之外，神经计算中还有很多值得深入研究的重要领域，例如：与符号学习相结合的混合学习方法的研究；脉冲神经网络(Pulsed Neural Networks)的研究;循环神经网络(Recurrent Neural Networks)的研究等；神经网络与遗传算法、人工生命的结合；支持向量机(Support Vector Machine)的研究；神经网络的并行、硬件实现；容错神经网络的研究。

参考文献:

[1] McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 1943.

[2] N.维纳著，郝季仁译，控制论，科学出版，1985.

[3] Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in Behavior; The Hixon Sympsium, 1951.

[4] Hebb D O. The Organization of Behavior, New York:Wiley, 1949.

[5] 陈世福，陈兆乾. 人工智能与知识工程[M]. 南京: 南京大学出版社，1998.

[6] Simon Haykin.神经网络原理[M].机械工业出版社（第二版），2004.