神经网络回归问题范文第1篇

关键词：神经网络；轨道交通；客流预测

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）04-0809-04

城市轨道交通作为公共交通的主要方式之一，具有有运量大、速度快、安全舒适、污染小、占地面积小、综合效益高等诸多优点。及时准确的分析各路网的实际客流数据并进行客流预测，对于提高轨道交通运营管理部门的运营组织效率，增强应对客流高峰的运输管理能力，并为运营安全有效决策提供良好的数据支撑，从而对于城市轨道交通的短期客流预测显得尤为重要。在短期客流预测方面有许多较为有效的方法：Wu[1]等采用最小二乘支持向量机进行预测，Simroth[2]等采用离散一维Daub4小波分析进行客流预测，而杨军[3]等则将最小二乘支持向量机与离散一维Daub4小波分析结合起来进行预测分析。

自回归神经网络是目前神经网络领域数据预测方面的主要方式，在对于神经网络的数据预测方法方面有很多颇有成果的研究：Connor[4]等运用非线性自回归平均移动预测模型来进行时间序列问题鲁棒预测，Dou[5]运用对角回归神经网络来实现非线性自回归平均移动预测模型的预测，文献[6]-[8]设计出了用于时间序列预测问题的测自回归神经网络并行预模型，文献[9] 针对并行递归自回归神经网络[6-8]没有考虑数据各维度之间的相互关联关系，只是将一维预测网络并行起来进行多维数据的预测问题，提出了基于自回归神经网络的动态多维预测（Dynamic Multi-Dimension Prediction，DMDP）模型[9]。该文在DMDP模型的基础上来解决轨道交通中短期进出站客流预测问题。

1 基于神经网络的客流预测模型

本文主要研究轨道交通进出站乘客人数预测问题，设计的基于自回归神经网络的进出站客流预测模型如图1所示，网络分为输入层、输入分配层、隐层与输出层四层，其中隐层是具有延迟一步功能的反馈单元。

1.1 模型数学描述

输入元素包含进站人数、出站人数2个属性， [xt-1]为输出延迟一步反馈数据，输入层为2个输入单元。每个输入层输入的2个属性在输入分配层被分别分配到2个并行子网络中并行运算；现假设两组网络的隐层单元数都为NH个，隐层的作用函数选取为Sigmoid函数，两个并行输入层到隐层之间的连接权值为[I1j]、[I2j]，两个隐层单元到输出单元的连接权值为分别[W1j]、[W2j]；第j个隐层单元的自反馈连接权为Aj；一个隐层的第j个隐单元到另一个隐层的第m个隐单元反馈连接权值为[Rjm]。则预测模型的数学描述如下：

输入层：

其中，X为输入列向量；[xt-1]、[xt-1]分别表示输入分量与预测反馈输入分量；[HIj（t）]为第I组隐层的第j个单元的净输出；h（.）为Sigmoid函数。在网络初始化时，这里规定对于每一时间t，其中[HIj（0）=0]。

1.2 模型训练算法

本文运用BP算法来训练网络，设t时刻输出单元的第I种属性的输出值与期望值为[OIt]与[YIt]，隐层第k单元到输出层单元的连接权为[WIk]，输入层的第i（i=1，2）个单元到隐层第k单元的连接权为[IHIik]，隐藏层第K单元自反馈连接权为[AIk]，隐藏层第K单元到其它组网络的第l单元的反馈连接权为[RIkl]。

样本对第I个属性的训练误差误差函数选择为：

其中[ηI1，ηI2，ηI3，ηI4]为学习步长。

2 仿真实验分析

实验数据集选取的是重庆轨道交通2号线2012年1月2日至2012年5月20日共20周进出站数据。实验环境为Intel（R）core（TM）2 duo CPU 2.93GHz、2G内存、Windows XP Pro系统下Matlab6.5。

2.1 数据预处理

为了实现预测模型的训练及预测实现，在模型运行前需要对数据进行归一化预处理方面的工作。归一化处理本文采用式（10）实现。

式中Unorm为归一化后的数据，P为待归一化数据，D为数据集，max（.）为最大值函数。

隐藏层节点数本文采用如下式来确定。

上式中h、In、Ou分别表示隐层、输入层、输出层的神经单元数。本预测网络模型的输入层单元数为2；输出层单元数数为1；隐层单元数为选择为9。

初始学习率采用下式确定：

2.2 实验分析

模型的每次训练数据长度选取连续的5周进出站数据，即选取在预测时间点t前一天进出站数据以前的连续5周进出站数据作为训练数据；测试数据选取当前时间点t以前的连续5周数据。为便于观察，预测结果显示时间点间隔点设为26天。模型预测结果如图2所示。

从本文较长时间连续预测实验结果来看，总体实验结果都较为理想，预测结果误差控制在25%以内，明显较文献[3]将最小二乘支持向量机与离散一维Daub4小波分析结合起来进行的短时间进出站预测效果好。

3 结论

本文结合自回归神经网络来进行轨道交通进出站客流预测，提出了基于自回归神经网络的轨道交通进出站客流预测模型，对模型进行了相应数学描述并简要描述了模型训练算法。通过采用重庆轨道交通2号线进出站客流数据进行matlab仿真实验，预测效果明显较优于文献[3]将最小二乘支持向量机与离散一维Daub4小波分析结合起来预测方法，具有很好的轨道交通进出站客流预测效果。

参考文献：

[1] Wu C H，Ho J M，Lee D T.Travel-Time Prediction with Support Vector Regression[J].IEEE Transactions on Intelligent Transportation System，2004，5（4）：276-281.

[2] Simroth A，ZAhle H.Travel Time Prediction Using Floating Car Data Applied to Logistitcs Planning[J].IEEE Transactions on Intelligent Transportation System，2011，12（1）：243-253.

[3] 杨军，侯忠生.基于小波分析的最小二乘支持向量机轨道交通客流预测方[J].中国铁道科学2013，34（3）：122-127.

[4] Connor J T，Martin R D，Atlas L E.Recurrent neural networks and robust time series prediction[J].In IEEE Trans. on neural networks，1994（5）： 240-254.

[5] Dou J，Tang T.A DRNN-based direct multi-step adaptive predictor for intelligent systems[C].In Proceedings of the IASTED International Conference on Modelling， Identification， and Control，2001（2）：833-838.

[6] Tianzhen Wang，Tianhao Tang.A Mult-dimension Predictor based on PDRNN[C].ICARCV 2004， 2004：1359-1364.

[7] Tianhao Tang，Tianzhen Wang.ANN-BASED MULTIPLE DIMENSION PREDICTOR FOR SHIP ROUTE PREDICTION[C]. Proceedings of ICINCO 2005，Barcelona， Spain，Sept.14-17.

神经网络回归问题范文第2篇

[关键词] 个人信用评估Logistic回归神经网络

个人信用评估的主要目的是对可能引起信用风险的因素进行定性分析、定量计算,以测量消费者的违约概率,为授信方决策提供依据。

在我国，商业银行的信用分析与评估技术还处于传统的比例分析阶段，该方法的最大缺陷在于指标和权重的确定带有很大的主观性,使得评估结果与消费者个人的实际信用状况有很大出入，远不能满足商业银行对消费信贷安全性的准确测量。因此需要引入科学方法来确定有效指标,并建立准确的定量模型来解决信用评估问题。

本文的目的在于：根据我国商业银行的具体情况，结合国际上目前较为流行的个人信用评估方法，就国内外个人信用评估领域使用较多的判别分析、Logistic回归、神经网络方法以及分类树法，利用中国商业银行的数据分别建立评估模型并对它们进行比较,最后给出有关结论。以此研究我国商业银行个人信用风险评估问题。

一、指标与样本数据

本文随机选取我国某商业银行某城市分行的个人汽车贷款1253个样本作为样本总体，按照银行的标准将其划分为“好”客户（293人），“坏”客户（960人），并将其随机分为两组，其中的四分之三作为训练样本用于构建模型，剩下的四分之一作为保留样本对模型的性能进行检验。参考银行客户贷款申请表及还款记录，选取类别(class)，性别(sex )，年龄(age)，婚姻〔marry〕，受教育状况(edu)，月均收入(income)，行业(company)，职业(job)，共八个指标。模型中class为被解释变量，sex, age, marry, edu，income, company, job为解释变量。

表1个人信用指标定义表

二、信用评估模型的构建

1.Logistic回归

在本建模总体中，由于将一个“好”客户错分为“坏”客户（即第一类错误）所造成的平均利润损失L和将一个“坏”客户错分为“好”客户（即第二类错误）所引起的平均坏账损失D很难估计出来。为简单起见，将它们取为相等。将选取的训练样本（共940个）使用SAS EnterpriseMiner,选择stepwise方法选择最优的自变量指标进入方程对因变量进行拟合，自变量指标进入方程的顺序是:edu, sex, marry, income, age, job；company被剔除，最后得到式(1)的回归方程。

2.分类树

分类树方法的思想是把所有申请表的答案分成不同的组，然后依据每组中多数成员是好还是坏而判别每个组为好或坏。申请数据组A首先被分成两个组，在针对申请人最终无法偿还贷款方面，相对于未分开的总体组来说每个分开组的内部成员具有更相似的性质。每个这样的组又经过一分为二，得到更具有相似性质的更多小组，这样的过程不断重复。当小组内的成员达到树的终止节点条件时，分区程序停止。然后每个终止节点被分类为“好”的或“坏”的，整个过程可以用一个树的形式来表示（参见图1）。

图1修剪后的分类树

本文使用CART算法建立分类树模型。依据国外学者的研究结果（Lyn C.Thomas，2000）,在本研究样本总量为1253的情况下，为了防止样本训练过度，设定节点最小样本数目为5（节点中较少的一类样本的数量已经不超过预先设定的5个，此时停止分割）。这棵分类树共产生了14个叶节点。

3.神经网络方法

神经网络模型的建立主要需考虑两方面的问题：一是确定网络结构；二是学习参数的调整。本文使用只包含一个隐含层的BP神经网络模型，并采用试值法确定隐含层结点数。

表2隐含层节点数的影响

我们分别就隐结点数为1、2、3、4、5、6、7的情况进行了模拟，各种网络的输出情况见表2。对于保留样本，综合分析第一类错误、第二类错误和总误判率，可以得出当隐含层结点数为5时，总误判率最低且第二类错误比率也最低。采用同样的方法，我们最终选定了神经网络模型的学习率η=0.4，惯性参数α=0.6。

三、不同模型结果比较

由于Logistic回归具有假设条件少、具有可解释性和操作简单的特点，这里将其作为线性方法建模的代表，将其与非参数方法（分类树和神经网络）进行比较。

1.比较之一：错误分类率

实际上，以总的损失最小为标准是衡量模型优劣最合适的评价方法。但是在实际问题中,上述两类错误造成的损失往往是未知的而且难以精确的估计出来。因此,这里将综合考虑总错分率、第一类错误比率和第二类错误比率，以此作为弥补。

从表3中可以看出，就本文的建模数据而言：

(1)3种模型对测试样本的总错误分类率均高于训练样本的总错误分类率。这说明仅用训练样本计算的错误分类率还不能真正地反映模型的预测能力，对测试样本的错分率才是对模型预测能力的一个较好的评估。

(2)就测试样本的总错误分类率而言,logistic回归、分类树、神经网络的总错误分类率均在15%～17%之间，差别不大。这说明所比较的3种方法均具有一定的分辨能力,能够在相当程度上将“好”客户和“坏”客户区分开来。

(3)在使用logistic回归、分类树法和神经网络3种方法对测试样本进行分类时,其第二类错误的比率均较高，最低的神经网络方法也达到37.65%。就模型的稳健性而言，理论上Logistic回归作为一种线性建模方法其稳健性应优于非参数方法，而我们的实证结果表明神经网络方法最优。因此,综合总错分率、第二类错误比率和稳健性看,神经网络方法是一种较好的方法。

2.比较之二：模型验证的全程比较分析

图2和图3是将Logistic回归、分类树、神经网络三种方法所得的模型验证曲线放一起进行比较。图3是图2的累积分布形式。

将25%的测试集数据(在建模过程中从未用过的)根据模型算出分值，这样就可以定义“好”（1）与“坏”（0）值。将这些观察点按信用评估分值从大到小排列（模型中，分值大意味着“好”，分值小意味着“坏”）。排列好后将所有观察点大致分为10份，每一份中约有测试集中10%的观察点，然后依次对这10份中每一份内的“好”与“坏”进行计算，算出“好”的比率。比如在第一个10%中有31个观察点，其中29个是“好”，2个是“坏”；在100%处，可以看到“好”的比率约为3%。将10份“好”的比率绘成图形，连线而成得到图2。

图2 模型验证比较图图3 模型验证累积分布比较图

可以看出两图形的曲线并不平滑，有凹凸，表明模型的效果在某些范围内并不很好，这是因为采集的样本数据数量有限造成的。这些不平滑会对信用评估的应用产生一定的影响。三个模型的分类结果图放在一起比较，可以方便地得出上面已分别陈述过的结论：

神经网络模型要比其他两个模型的分类效果更好些，因为其更加平滑；而分类树模型比回归模型要好一些；实际上在全程范围内三种模型的分类效果几乎同样的好，这点与国外的研究结论一致（A.D. Lovie and P. Lovie，1986）。

四、结论

神经网络回归问题范文第3篇

【关键词】网络安全 审计 态势预测

目前网络已经在各行业中被广泛地普及，人们对网络的依赖日益增加。然而网络攻击事件却也是愈发频繁。面对大量的病毒入侵，传统的防火墙、入侵检测等技术逐渐呈现出疲态，已满足不了现阶段的网络安全防御需求。

1 网络安全审计技术

1.1 网络安全审计系统的问题

1.1.1 日志格式无法兼容

不同厂商的系统产生的日志格式一般是无法兼容的，这就对集中网络安全事件进行分析，增加了难度。

1.1.2 日志数据管理困难

日志的数据会随着时间不断地增加，但日志容量有限，一旦超出容量，数据不能轻易地处理掉。

1.1.3 日志数据集中分析困难

如果攻击者针对多个网络进行攻击，由于日志不能兼容，就只能单个进行分析，这样不仅工作量大，而且很难发现攻击者的踪迹。

1.1.4 缺少数据分析和统计报表自动生成机制

日志数据每天都会有所增加，工作内容过多，管理者就只能一个个查看下去，所以数据分析和统计报表的自动生成机制是必要的，能够最大程度减少管理者的工作量。

1.2 网络安全审计系统的主要功能

1.2.1 采集日志数据类型多样化

如入侵检测日志、防火墙系统日志、操作系统日志、应用和服务系统日志等。

1.2.2 多种日志统一管理

便于将采集的各种复杂的日志格式转化为统一日志格式，实现多种日志信息的统一管理目标。

1.2.3 日志查询

可以支持大部分查询方式对网络的日志记录信息进行查询，并将信息以报表的形式显示。

1.2.4 入侵检测

利用多种相关规则对网络产生的日志和报警信息进行分析，能够有效地检测出较为隐蔽的安全事件。

1.2.5 集中管理

审计系统建立统一的集中管理平台，将日志数据库、日志、安全审计中心集中起来进行管理。

1.2.6 安全事件响应机制

根据事件类型，可以选择相应的报警响应方式。

1.2.7 实时监控网络动态

对有的特定设备可以实施监控到日志内容、网络行为等。

1.2.8 安全分析报告自动生成

通过分析数据库中的日志数据、网络安全性，自动输出分析报告。

2 网络安全态势预测技术

2.1 网络安全态势预测技术的作用

大数据时代互联网可以利用光纤、无线网络接入终端、服务器设备，实现信息化系统共享数据、传输的目的。但随着科技不断发展，网络面临的攻击力度和方式愈发强了，以致网络随时面临着病毒的侵入。然而网络安全事件发生动态不明，所以需要采用态势预测措施，其通过分析过去以及现在网络安全事件的走势，预测未来网络安全事件的走势，以此协助安全管理人员作出正确的判断。目前，态势预测技术属于网络安全防御手段中最有效的技术之一，其采用了先进的分析技术，能够随时对不确定的信息进行统计，建立科学、高效的网络安全态势预测趋势图，进而彰显安全态势预测的实用性。

2.2 网络安全态势预测技术的研究

态势预测技术的效果获得了国内外许多学者的认可，目前已经在很多领域中广泛的应用和研究，从而延伸出许多态势预测技术，其中最为关键的技术有自回归移动平均模型、神经网络预测模型。

2.2.1 自回归移动平均模型

自回归移动平均模型体现方式是非常常用的随机序列构建而成的模型，其建模过程包括序列检验、序列处理、模型识别、参数估计以及模型检验。识别序列中存在的相关性以及只通过数学模型详细记录序列的连续性是自回归移动平均模型的主要目标。在执行自回归移动平均模型中，序列检验主要针对数据的随机性和平稳性进行检测；序列处理通常采用差分运算法、函数变换方法、周期差分法等对序列进行处理；常用的参数估计方法有矩估计、最小二乘估计等；模型检验的目的是为了检验参数的序列类型，若是属于白噪声序列，则可以通过检验。自回归移动平均模型在应用过程中，需要存在态势序列满足平稳性假设的条件，但要完成这个条件极为困难，所以限制了该模型的使用范围。

2.2.2 神经网络预测模型

神经网络采用学习算法模仿正常的网络数据行为，能够利用模仿数据提取查询相关正常数据，并储存在网络数据库里，方便识别不正常的数据行为，所以神经网络预测模型是一种网络安全态势预测算法，且非常具有有效性。神经网络能够训练数据学习的自主性、自适应性，且能够区分正常数据以及掌握最流行的网络攻击行为特征，进而掌握正常的安全事件行为模式。完成训练后，神经网络可以对网络事件行为特征进行分析和识别，并记录行为特征的变化，从而检验出可能存在的异常行为。由此可见，神经网络可以在训练时通过调整神经网络参数权值实现分布式存储、并行处理和容错的能力，其还具有较强的适应能力和非常强的抗干扰能力。神经网络在网络安全审计系统应用过程中，存在一些问题，如样本数据获取困难、检验精度对神经网络训练次数的依赖性强等。

3 结语

态势预测技术作为新兴的网络安全防御技术，可以通过分析过去以及现在安全事件走势，进而预测未来一定时期网络安全事件的走势。而安全审计系统虽然存在一些需要考虑的问题，但其具有很好的兼容性，能与其他防御系统联合运用，以此配合态势预测技术，必定能够协助安全管理员解决问题，从而降低网络攻击次数。

参考文献

[1]薛丽敏，李忠，蓝湾湾.基于在线学习RBFNN的网络安全态势预测技术研究[J].信息网络安全，2016（04）：23-30.

[2]郑士芹.大数据时代网络安全态势预测关键技术探讨[J].黑龙江科技信息，2015（32）：204.

作者简介

黄瑜帅（1982-），男，广东省惠州市人。硕士研究生学历。现供职于惠州市公安局网络警察支队（惠州市电子数据检验鉴定中心）。

神经网络回归问题范文第4篇

[关键词] BP神经网络出口预测非线性预测

一、引言

出口贸易受到一国(或地区)的经济条件、自然条件、贸易政策等国内因素的影响，还受到国际市场需求变动、全球经济增长等国际因素的影响，且各影响因素以及相互之间存在非线性关系，因此，出口贸易是一个复杂时变的非线性系统。而传统的时间序列、线性回归等线性预测方法虽然具有简单、直观且解释性强的优点，但难以解决非线性的预测问题，因此非线性的预测方法越来越受到出口贸易预测研究者的重视。在其研究中表明中国外贸环境发生了较大变化，导致建立在原来数据结构之上的模型出现失真，而解决的方法就是将其非线性化。

而神经网络是目前应用得非常广泛的非线性预测方法，它具有强大非线性映射功能，具有很强的鲁棒性(robust)和容错性，适合于解决动态非线性出口贸易系统的预测决策问题。且神经网络的算法和模型较为成熟，预测结果可靠，在股市预测、证券预测、外汇预测、GDP预测、库存需求预测、产品成本定价、风险预测、财务报警等经济领域内皆有应用。本文将BP神经网络应用于重庆市出口贸易额的预测，建立起预测模型并进行实证预测，预测的结果可以作为相关部门制定重庆市出口贸易发展目标的决策参考依据。

二、预测模型结构设计

1.BP神经网络理论

BP神经网络（Back Propagation Neural Network）是一种按误差逆向传播算法训练的多层前馈神经网络，它由输入层、隐含层、输出层构成，每层由若干个神经元组成，各神经元的输出值由输入值、激活函数和阀值决定。

图1BP神经网络结构图

典型的单隐含层BP神经网络结构如图1所示，输入层、隐含层和输出层的神经元数分别为n、q、m，隐含层和输出层的激活函数分别为、，则网络输出：

（1）

假设输入P对学习样本，第p个样本的网络输出为，其期望输出为，则总体误差：

（2）

L-M(Levenberg-Marquardt)算法下的权值修正公式:

（3）

式中，J是误差对权值导数的雅可比矩阵:μ是一个能够自适应调整的非负标量;是单位矩阵;θ项保证可逆，否则JTJ可能不可逆;e是误差。

2.具体算法设计

(1)对数据进行预处理。。本文选用常用的线性函数对原始数据进行标准化的预处理，预处理的结果将原始数据映射到[0,1]的区间范围内，预处理公式为：

（4）

式中、分别是原始序列和预处理之后的序列;、分别是最小值和最大值。

(2)确定网络各项参数。BP网络的各项参数包括网络的隐含层数；输入层、隐含层和输出层神经元数；以及各层激活函数。

研究已经证明任意一个连续函数都能与含有一个S型隐含层和线性输出层的BP神经网络建立任意映射关系，因此本文选择单隐含层的BP网络模型，即三层BP模型。输入层和输出层的神经元数分别由输入数据和输出数据的维数确定。

隐含层神经元存储连接权值，体现了样本的内在规律，增加隐含层神经元数，能提高网络从样本中获取和概括信息的能力，但隐含层神经元数过多，又可能将噪声等样本中非规律性的信息学会并存储，从而出现“过度拟合”(Overfitting)的问题。因此在满足精度要求的前提下，隐含层应该选择尽可能小的神经元数。本文采用“试凑法”确定隐含层神经元数目，具体做法是先设置较少的隐含层神经元数来训练网络，然后逐渐增加隐含层神经元数，当隐含层神经元数增加而网络误差没有明显改善时，将临界的隐含层神经元数作为BP网络的隐含层神经元数。隐含层激活函数采用Sigmoid:，其中，是权值的加权和。输出层激活函数采用purelin纯线性函数。

(3)初始化网络。初始化各神经元的权值和阀值。

(4)网络学习训练。输入P对学习样本对网络进行训练，判断网络误差是否满足精度要求，如果满足精度要求，则结束训练，存储权值和阀值。如果不满足精度要求，则原路反向传播，并沿途修正各层神经元的权值和阀值，进入下一轮学习训练，当训练次数大于给定的最大训练次数仍不满足精度要求时，退出训练过程，调整网络参数并重新训练，即从2）开始重新调试。

三、实证预测

本文用于模型实证预测的时序数据为1987年到2005年重庆市出口贸易额历史数据，见表1。

表11987年～2005年重庆市历年出口贸易额 单位万美元

资料来源：1987年～2004年数据来源于《重庆统计年鉴――2005》，2005年数据来源于“重庆市对外贸易网”公布的数据。

通过反复多次调试，最后确定将顺序前四年的出口贸易额数据作为网络输入数据，后一年的出口贸易额数据作为输出数据，网络结构为4×6×1。利用2004年以前的数据训练网络，然后对2005年和2006年重庆市出口贸易额数据进行预测，预测结果分别为257374万美元和275869万美元，而传统的指数平滑、移动平均和自回归的预测结果见表2，预测曲线见图2。

从表2预测结果可以看出，BP神经网络预测的误差在3%以内，具有较高的预测精度；而指数平滑、移动平均和自回归预测的最大误差分别为26.57%、27.07%、10.91%，误差远大于BP神经网络的预测误差。再从图2的预测曲线来看，BP神经网络的预测曲线紧贴着实际数据变动，数据拟合效果好；而指数平滑、移动平均和自回归预测的预测曲线在实际数据出现明显波动时开始明显偏离实际数据，即这三种传统的预测方法不适合于非线性问题的预测。

表2不同预测方法的预测结果单位万美元

图2不同预测方法的预测曲线

神经网络回归问题范文第5篇

关键词:农村电力;BP算法;人工神经网络;回归分析

中图分类号:TM855文献标识码:A

文章编号:1009-2374 (2010)22-0138-03

0引言

农村用电具有很大的不确定性,农村电力短期负荷预测研究对农村电力系统的安全及农业安全生产有十分重要的意义。基于短期负荷预测研究理论和方法已做了大量预测研究,提出了很多方法,大致可以分为两类:一类是以时间序列法为代表的传统方法,如时间序列法等,这些方法算法简单,速度快,应用广泛,但由于其本质上都是线性模型方法,因此存在着很多缺点和局限性,无法真实地反映农村电力系统不同负荷模型的非线性特性;另一类是以人工神经网络为代表的新型人工智能方法,神经网络具有并行分布信息和自学习及任意逼近连续函数的能力,能够捕获农村电力短期负荷的各种变化趋势。BP网络需要大量历史数据进行训练,且学习及处理不确定性和人工信息的能力较差。人工逻辑系统适用于处理不确定性、不精确性及噪声引起的问题。实践证明,将BP算法和神经网络融合的人工神经网络能发挥各自的优势,克服各自的不足是一种有效的方法。

1农村电力短期负荷预测研究算法

基于负荷预测方法主要有回归分析法、时间序列法、指数平滑法、灰色模型法、专家系统法、人工神经网络法、小波分析预测技术和数据挖掘理论等。

1.1回归分析法

回归分析法是研究变量与变量之间的一种数学方法。在回归分析中,自变量是随机变量,因变量是非随机变量,由给定的多组自变量和因变量资料,研究各自变量和因变量之间的关系,形成回归方程,求解回归方程后,给定各自变量数值,即可求出因变量值。回归分析法根据历史数据和一些影响负荷变化的因素变量来推断将来时刻的负荷值。回归分析法的特点是:原理、结构简单,预测速度快,外推特性好,对于历史上未出现过的情况有较好的预测值。

1.2灰色模型法

灰色系统理论将一切随机变化量看作是在一定范围内变化的灰色量。常用累加生成(AGO)和累减生成(IAGO)的方法将杂乱无章的原始数据整理成规律性较强的生成数据列。用灰色模型(GM)的微分方程作为农村电力系统单一指标(如负荷)的预测时,求解微分方程的时间响应函数表达式即为所求的灰色预测模型,对模型的精度和可信度进行校验并修正后即可据此模型预测未来的负荷。

1.3专家系统法

专家系统是依据专门从事短期负荷预测的技术人员提供的经验,总结出一系列的规则,并建立相应的历史负荷和天气的数据库,利用if-then规则对待预测日的负荷进行估计。由于专家系统将天气条件作为一个重要因素引入预测模型,因而预测的结果更为令人满意。专家系统预测的优点在于较好的解决了天气等因素对负荷的影响,有力的克服了时间序列法不能处理数据序列中出现大扰动的情况。但是这种方法过分依赖规则,如果没有一系列成熟的规则负荷预测就无法进行,而规则本身不具有普遍适应性,预测模型不能推广到所有的系统,这正是专家系统存在的弱点。

1.4人工神经网络法

人工神经网络方法是90年代以来发展起来的新方法,用人工神经网络进行负荷预测是农村电力系统负荷预测的一个新发展方向。人工神经网络法利用人工神经网络(ANN),选取过去一段时间的负荷作为训练样本,然后构造适宜的网络结构,用某种训练算法对网络进行训练,使其满足精度要求之后,用ANN作负荷预测。一般而言,ANN应用于短期负荷预测要比应用于中长期负荷预测更为适宜,因为短期负荷变化可以认为是一个平稳随机过程,而长期负荷预测与国家或地区的政治、经济政策等因素密切相关,通常会有些大的波动,而并非是一个平稳随机过程。目前用人工神经网络进行负荷预测还存在一些问题,比如模型结构的确定,输入变量的选取,人工神经网络的学习时间较长等问题。但它仍具有许多其他方法所不能比拟的优点,例如:良好的函数逼近能力,通过对样本的学习,能够很好的反映对象的输入/输出之间复杂的非线性关系。因此人工神经网络受到许多学者的高度评价。

1.5小波分析预测技术

小波分析是Fourie分析深入发展过程中的一个新的里程碑,是本世纪数学研究成果中最杰出的代表,已成为众多学科共同关注的热点。一方面,小波分析发扬了Foufie分析的优点,克服了Fourie分析的某些缺点;另一方面,小波分析现在已经被广泛应用于信号处理、图像处理、量子场论、语言识别与合成、地震预报、机器视觉、机械故障诊断与监控、数字通信与传输等众多领域。原则上讲,凡是传统方法中采用Fourier分析的地方,基本上都可以用小波分析来取代,而且其应用结果会得到深化和发展,因此小波分析作为一种多方面运用的数学工具,具有巨大的潜力和广泛的应用前景。

农村电力系统中曰负荷曲线具有特殊的周期性,负荷以天、周、年为周期发生波动,大周期中嵌套小周期。而小波分析是一种时域或频域分析方法,它在时域和频域上同时具有良好的局部化性质,并且能根据信号频率高低自动调节采样的疏密,容易捕捉和分析微弱信号以及信号、图像精细的采样步长,从而可以聚焦到信号的任意细节,尤其是对奇异信号很敏感,能很好的处理微弱或突变的信号,其目标是将一个信号的信息转化成小波系数,可以方便的处理、存储、传递、分析或被用于重建原始信号,这些优点决定了小波分析可以有效地应用于负荷预测问题的研究。

1.6模糊预测法(FUZZY)

FUZZY预测,是近几年来在农村电力系统负荷预测中不断出现的一种预测方法,将FUZZY方法引入的原因是,农村电力系统中存在着大量的模糊信息,如负荷预测中的关键因素气象状况的评判、负荷的日期类型的划分等信息,都是模糊的。常规方法就是采用统计和经验相结合的方法予以处理,这给负荷预测引入了不科学因素,并且与自动化要求相矛盾,而FUZZY方法正是破解这些模糊信息的钥匙。从实际应用来看,单纯的FUZZY方法对于负荷预测的精度往往是不尽人意的,主要因为FUZZY预测没有学习能力,这一点对于不断变化的农村电力系统而言,是极为不利的。

2农村电力短期负荷预测研究与实现

2.1人工神经网络原理

人工神经网络是一种“采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。”人工神经网络是最近发展起来的十分热门的交叉学科,它涉及生物、电子、计算机、数学和物理学科,有着非常广泛的应用背景,这门学科的发展对日前和末来的科学技术的发展有重要的影响。二维的简单人工神经网络按网络拓扑结构可分为两类:前馈型网络和反馈型网络。反馈型网络模型是一种反馈动力学系统,它具有极复杂的动力学特性。反馈神经网络模型可以用完备的无向图表示,代表性的模型包括;Hopfield网络模型和Hamming网络模型。反馈神经网络模型有很强的计算能力。前馈神经网络模型是指那些在网络中各处理单元之间的连接都是单向的,而且总是指向网络输出方向的网络模型。

2.2BP人工神经网络算法

基于BP网络学习规则的指导思想:对网络权值和阈值的修正要沿着表现函数下降最快的方向――负梯度方向。

xk+1=xk-akgk (1)

其中xk是当前的权值和阈值矩阵,gk是当前表现函数的梯度,ak是学习速度。假设三层BP网络,输入节点,隐层节点,输出节点。输入节点与隐层节点间的网络权值为,隐层节点与输出节点间的网络权值为。当输出节点的期望值为时,模型的计算公式如下:

隐层节点的输出:

yj=f(wjixi-θj )=f (netj) (2)

其中netj=wjixi-θj (3)

输出节点的计算输出:

zl=f(vljyj-θl)=f (netl) (4)

其中netl=vlj yj-θl (5)

输出节点的误差:

E=(tl-zl)2=(tl-f(vljyj-θl))2

=(tl-f(vljf(wjixi-θj)-θl))2 (6)

E=(tI-zi)2=(tI-zi)

2.3误差函数对输出节点求导

=・=・ (7)

E是多个zk的函数。但有一个zk与vlj有关,各zk间相互独立,其中:

=[-2(tk-zk)・]=-(tl-zl) (8)

=・=f '(netl)・yj (9)

则=-(tl-zl)・f '(netl)・yj (10)

设输入节点误差为δl=(tl-zl)・f '(netl) (11)

则=-δl・yj (12)

2.4误差函数对隐层节点求导

=・・ (13)

E是多个zl的函数,针对某一个wji,对应一个yj,它与所有zl有关,其中:

=[-2(tk-zk)・]=-(tl-zl) (14)

=・=f '(netl)・(-1)=f '(netl)・vlj (15)

=・=f '(netl)・xi (16)

则=-(tl-zl)・f '(netl)・vlj・f '(netj)・xi=δlvlj・f '(netj)・xi(17)

设隐层节点误差为δj'=f '(netj)・δlvlj (18)

则:=-δj'xi (19)

由于权值的修正Δvlj,Δwji正比于误差函数沿梯度下降,则有:

Δwji=-η'=η'δj'xi (20)

vlj(k+1)=vlj(k)+Δvlj=vlj(k)+ηδlyj (21)

δl=-(tl-zl)・f '(netl) (22)

Δθl=η=ηδl (23)

wji(k+1)=wji(k)+Δwji=wji(k)+η'δj'xi (24)

δj′=f '(netj)・δlvlj (25)

其中隐层节点误差δj′中的δlvlj表示输出节点的zl的误差δl通过权值vlj向节点yj反向传播成为隐层节点的误差。

2.5 阈值θ也是变化值,在修正权值的同时也需要修正,原理同权值修正一样误差函数对输出节点阈值求导

=・ (26)

其中=-(tl-zl) (27)

=・=f '(netl)・(-1)=-f '(netl) (28)

则=(tl-zl)・f '(netl)=δl (29)

阈值修正Δθl=η=ηδl (30)

θl(k+1)=θl(k)+ηδl (31)

误差函数对隐层节点阈值求导=・・(32)

其中=-(tl-zl) (33)

=f '(netl)・vlj (34)

=・=f '(netj)・(-1)=-f '(netj) (35)

则=(tl-zl)・f '(netl)・vlj・f '(netj)=δlvlj・f '(netj)=δj' (36)

阈值修正Δθj=η' =η'δj' (37)

θj(k+1)=θj(k)+η'δ'j (38)

2.6传递函数f(x)的导数S型函数

f (x)=,则f ' (x)=f (x)・(1-f (x)) (39)

f ' (netk)=f (netk)・(1-f (netk)) (40)

对输出节点zl=f (netj) (41)

f ' (netj)=zl・(1-zl) (42)

对输出节点yj= f (netj) (43)

f ' (netj)=yj・(1-yj) (44)

3结语

基于一种新的基于人工神经网络在农村电力短期负荷预测研究。针对BP算法中存在的收敛速度慢、易陷入局部最小值的问题,可采用附加动量法和自适应学习速率法在一定程度上解决这些问题。附加动量法是在BP算法的基础上,在每个权值变化上加上一项正比于上一次权值变化量的值,并根据BP算法来产生新的权值变化,利用附加动量法可能会避开某些局部最小值。自适应学习速率法是在学习过程中不断修正学习速率,有利于提高学习效率,缩短学习时间。

参考文献

[1] 刘光中,颜科琦.组合神经网络模型对电力需求的预测[J].数量经济技术经济研究,2003,(1)