首页 > 文章中心 > 网络流量监控分析

网络流量监控分析

网络流量监控分析

网络流量监控分析范文第1篇

关键词:深度报文检测;流量监控;流量分析

中图分类号:TP393 文献标识码:A 文章编号:2095-1302(2013)02-0071-03

0 引 言

随着计算机网络的快速发展和普及,各类网络应用层出不穷。当前,计算机网络的规模越来越大,业务也越来越复杂,系统对网络的可靠性、可用性及网络服务质量的要求也越来越高。网络流量监控分析[1]可以在很少甚至完全不影响现有网络的情况下,对计算机网络的运行状况进行全面的监控分析,是实现网络管理和网络安全防护的重要组成部分。高效合理地运行网络流量实时监控分析系统,可以在最短时间内发现安全威胁,并在第一时间进行分析,确定攻击源。结合基于流量的网络管理系统[2]和入侵检测系统[3]等,可以及时地发出威胁预警,以便快速采取措施,及时化解网络攻击,确保网络的运行效率和安全。

网络流量监控分析的基础是协议识别技术,目前的主要方法有常用端口识别、深度报文检测(Deep Packet Inspection,DPI)、深度流检测(Deep Flow Inspection,DFI)[4-7]以及这几种方法的混合。常用端口识别技术是根据协议通信五元组中的端口号来识别应用的,如常用的HTTP协议一般采用80端口,以协议所用的端口号为80来识别HTTP协议。当前,由于采用自定义端口、随机端口甚至加密隧道等应用日益增多,采用常用端口识别已经很难满足需要。深度报文检测是根据各类应用的连接数、单个IP地址的连接模式、上下行流量的比例关系、数据包发生频率等数据流的行为特征,来对流量的应用类型进行区分的技术[4],可以较好地识别出应用的类型(如是否P2P应用等),但无法对具体的应用进行详细的分析,只能实现应用类型的初步归类。DPI技术是一种基于特征字的识别技术,可根据不同协议的特征(包括协议所使用的端口、协议报文负荷(payload)中的特定字符串或特定的二进制数据等)来检测和识别出具体的应用协议。DPI具有检测准确率高、原理相对简单、实现速度快等多个优点,因而具有较为广泛的应用。本文介绍的网络流量实时监控分析系统(以下简称RT-TMA,Real-Time network Traffic Monitor and Analysis system)就是采用DPI技术来实现协议识别的。

基于DPI的网络流量实时监控分析系统在网络管理与网络安全防护中起着非常重要的作用,而目前的网络流量实时监控分析大都针对运行商的核心骨干网络,价格昂贵。此外,作为高校使用的网络流量监控分析系统,还需具备足够的可扩展接口,以便在完成网络管理与安全防护的同时,提供学生认知实习、开放性实验以及科研支撑。为此,本文提出了一种基于DPI的网络流量实时监控分析系统RT-TMA。该系统具有高可扩展性、实现简单、接口丰富等特性,可较好地满足高等院校,特别是高校实验教学中心对网络流量实时监控分析系统的需要。

1 RT-TMA的系统模型

RT-TMA是一种被设计用于高等院校校园网、实验室网络及中小型企业的网络流量实时监控分析系统。与其他网络流量监控系统不同的是,RT-TMA还提供有丰富的二次开发接口,为网络流量监控分析相关开发人员及科研人员提供理论验证和算法研究的实验平台。

规则库主要包括具体协议的DPI特征字及其检测算法的实现,同时包括传统规范网络应用的端口表,以用于配合DPI引擎完成对具体协议的识别。

DPI引擎是RT-TMA的核心,可在DPI规则库、数据库(配置信息等)、可选的扩展库以及用户操作等基础上,完成对网络流量的协议识别、统计、分析等功能。

RT-TMA用户界面作为人机交互界面,主要提供用户操作和管理DPI引擎、显示各类信息等。

2 RT-TMA的关键实现

RT-TMA主要针对高等院校、实验教学中心和中小企业的网络进行流量监控分析,此外,RT-TMA还可作为科研平台和实验平台来使用,因此,在RT-TMA的实现中,采用先实现全部功能再进行性能优化、先实现基本功能再进行二次扩展的思路。

2.1 基于winpcap的报文收发实现

3 运行测试

4 结 语

本文介绍了一个名为RT-TMA的网络流量实时监控分析系统的设计方案和关键技术实现方法,并给出了系统的运行测试结果。该方法对于网络流量监控分析系统的开发、DPI算法研究等,都具有较高的参考价值。本文介绍的RT-TMA目前可识别的协议还有限,DPI规则及检测器的性能和算法还有较大的进一步优化空间。此外,混合DFI及其他协议识别技术来进一步提升系统的协议识别准确率和性能还需要进一步的研究和测试。这些都是需要在下一步工作中进行研究和测试的内容。

参 考 文 献

[1] 杨厚云,王遵刚,龚汉明.校园网数据流量监控设计与实现[J].北京信息科技大学学报:自然科学版, 2009,24(4):97-91,96.

[2] 王文蔚.协议分析及其在网络管理中的应用[J].信息技术与信息化,2009(2):31-33.

[3] 周杨.协议分析技术在入侵检测系统中的应用[J].计算机系统应用,2011,20(6):161-164.

[4] 聂瑞华,黄伟强,吴仕毅,等.基于DPI技术的校园网络带宽管理[J]. 计算机技术与发展,2009,19(4):250-253.

[5] 叶文晨,汪敏,陈云寰,等.一种联合DPI和DFI的网络流量检测方法[J].计算机工程,2011,37(10):102-104,107.

[6] Liao M Y, Luo M Y, Yang C S, et al. Design and evaluation of deep packet inspection system: A case study[J]. Networks, IET. 2012, 1(1): 2-9.

[7] 孙广路,郎非,杨明明.基于混合方法的流量测量系统(英文)[J]. 电机与控制学报, 2011,15(6):91-96.

[8] RIZZO L, CARBONE M, CATALLI G. Transparent acceleration of software packet forwarding using netmap [C]// 2012 Proceedings of 2012 IEEE INFOCOM. Orlando: IEEE, 2012: 2471-2479.

网络流量监控分析范文第2篇

【关键字】 网络探针 电力 检测

一、引言

随着配电网生产、管理及营销的信息集成度越来越高,众多相互关联的因素都会影响到业务的质量,任何一个环境都可能造成业务质量的下降,孤立的去监控某个元素无法保证整个端到端的传输质量。因此我们需要从网络的角度,实时监控、分析整个业务的流程,及时把握实际环境中各因素对业务质量的影响,从科学的角度去规划、优化网络与业务系统。网络流量监测是网络管理的基础,如何在高速网络中完整、准确、实时地采集和处理网络流量数据是流量监测研究的重点课题。

二、电力网j监测系统现状分析

通过对全国大部分省市的监测系统进行调研发现,目前大部分省市采用的监测系统存在以下问题:

2.1故障定位与分析困难

当网络故障发生后,管理员通常只能单纯根据网络故障的表面现象,凭借现有的工具和个人的经验,通过不断的尝试对问题作出判断,由于缺乏有力的信息支撑,往往在网络故障产生后很难迅速定位网络故障点,解决网络故障耗时耗力,效率低。

2.2网络应用流量成分分析不深入

虽然借助当前的网络工具能够获得某个交换机端口的网络流量类型数据,但无法掌握长期的网络应用流量成份数据,并且无法对发生在过去的未定义应用进行分析,特别是在未知流量与异常流量发生后,难以追踪造成流量异常的IP主机与应用端口。

2.3缺乏对对网络与应用性能的整体监测手段

当终端用户访问业务系统的应用时延增大,网管人员需要了解具体响应时延的数据,根据历史数据进行分析判断是否与网络因素有关,还是与业务的应用系统的性能有关,进而采取相应措施,而目前大部分电力网络监测系统缺乏对对网络与应用性能的整体监测手段。

为了解决上述问题,我们需要研制一套监测方案,能够对各节点的各种网络设备和重要链路进行实时和长期的监控,以便进行故障预防和故障排除,并且为网络规划和网络运行管理提供依据。

三、网络流量监测分类及关键技术

网络流量监测主要是为了对网络数据进行连续采集,通过对网络数据进行连续采集,获得并存储网络及其主要成分的性能指标。下面重点介绍几种重要的网络流量监测技术。

3.1基于流量镜像协议分析

流量镜像协议分析方式是把网络设备的某个端口(链路)流量镜像给协议分析仪,通过7层协议解码对网络流量进行监测,缺点是流量镜像(在线TAP)协议分析方式只针对单条链路,不适合全网监测。

3.2基于SNMP/RMON的流量监测技术

SNMP,是基于TCP/IP协议的各种互联网络的管理协议,提供从网络设备收集网络管理信息的方法,并为设备提供了向网络管理站报告故障和错误的途径。

此类检测技术的优点是具有普遍适应性。一般而言,所有的网络设备都提供标准的SNMP功能,能够满足一般的端口链路流量监视的要求;不足是功能单一,信息量少,不支持历史数据的存储,实时流量的分析性能差,不能进行故障分析、网络协议解码等功能的实现。

3.3基于NetFlow/sFlow流量监测技术

NetFlow集成在Cisco的各类路由器和交换机内,是Cisco公司开发的专用流交换技术,同时也可用于记录流量统计信息。sFlow也是一种嵌入在路由器或交换机内的基于抽样的流量监测技术,sFlow的目标是实现高速网络中多设备、多端口的基于应用的流量测量。主要缺点是:特定于厂商的设备、价格昂贵、实时性较差等。

3.4基于数据采集探针的监测技术

数据采集探针是专门用于获取网络链路流量数据的硬件设备。使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息,一个硬件探针监视一个子网(通常是一条链路)的流量信息。全网流量的监测需要采用分布式方案,在每条链路部署一个探针,再通过后台服务器和数据库,收集所有探针的数据,做全网的流量分析和长期报告。基于硬件探针的最大特点就是能够提供丰富的从物理层到应用层的详细信息,但是部署相对复杂,费用也较高。

综上所述,四种监测技术各有优缺点,其中基于数据采集探针的监测技术,可以获得详细信息,可为故障分析、网络优化、网络规划提供实时的、历史的重要数据。但是部署相对复杂,下文将具体细述部署方案。

四、系统部署方案

下文以某市电网系统为原型介绍部署方案。

4.1部署千兆硬件探针

部署硬件探针是为了实现对访问IDC服务器群的流量以及关键业务系统间的交互的流量进行网络与应用性能分析。

下表是各网络层级对应的数据源、需求、网络性能参数:

在IDC中心机房的核心交换机上连接一台硬件探针,在核心交换机上配置端口镜像,将访问“服务器群区”、及“关键业务系统间交互数据”的流量镜像到所连接的端口。

千兆硬件设备采用双进程体系结构:Probe实时分析进程和流量记录与分析进程。

4.2部署管理服务器

部署管理服务器,对探针进行远程管理,并存放探针的分析统计结果,提供实时监控分析、数据包捕获解码、自动报告生成和集中告警功能。管理服务器同时能够获取路由器与交换机的SNMP MIB数据,对网络设备各端口的流量大小进行长期监控并生成所有链路的流量基准。

五、系统功能设计

基于硬件探针的电力综合数据网监测系统可实现下列九大功能:

网络性能分析和优化

问题分析和主动管理

报表系统

异常流量分析

响应时间监控

数据捕获和协议分析

链路监控分析

网络监控分析

应用监控分析

六、结论

本文对电力系统的综合数据网监测方案进行分析,提出了一种基于网络探针的检测管理系统,通过对该系统的总体构架和关键技术进行研究,实现并部署了一套系统在广东电网某供电局成功使用,效果良好。

参 考 文 献

网络流量监控分析范文第3篇

【关键词】校园网络;舆情;监控

1.前言

近年来,高校对校园网络加速建设,网络应用已经遍布于校园的每一个角落,已成为学生学习、生活中无法缺少的工具,而互联网具有强大的引导舆论、影响学生思维的力量。校园网络舆情监测需要在海量信息中监测关注的舆情,由于对工作效率要求较高,依靠人工方式很难完成对互联网海量信息的收集、分析和整理,因此需要借助的搜索引擎技术和智能的数据挖掘技术,设计开发一套校园网络舆情监控平台,来实现对互联网上舆情信息的收集、整理、筛选、关联,生成舆情分析报告,为学校管理提供决策依据。

2.系统设计

校园网络舆情监控平台设计有完善的系统监控、内容审计、用户管理、查询统计、统计报表、日志中心等功能模块,帮助高校提高管理工作效率,降低舆情安全威胁,杜绝带宽资源滥用,增强网络信息安全。

高校校园网络流量较大,且校园舆情监控平台更多地关注数据信息的审计,所以采用对网络核心交流层设备进行多端口镜像的方式接入校园网,网络拓扑如图1所示:

图1 网络拓扑实例图

2.1 系统监控

系统监控模块可以以各种图表来展现监控数据,使得管理员可以便捷地获取设备的运行状况、校园网用户的网络访问数据、带宽资源的使用情况、审计策略的监控结果等,并可通过配置数据过滤条件,查看所需的监控数据。

系统状态:显示平台当前运行信息、当前设备流量、系统时间等。

报警平台:直观的显示系统的各种状态信息、网络流量、内网用户使用网络的合规情况、安全内容审计等。若有报警信息,则图标闪烁且根据报警信息级别显示为红色、橙色或黄色。

网络活动:默认显示当天最近十分钟统计信息、如应用流量排名、网址分类排名、用户流量排名、网络活动概要等;

实时监控:显示当前设备实时流速、用户实时流速排名、应用实时流速排名、审计实时日志等;

连接监控:显示设备当前实时连接信息,如内外网IP、端口号、应用协议名称,发送接收流量等;

用户监控:显示所有上线用户及其识别方式,还可以显示上线用户所使用的网络流量数据;

活跃用户:显示当前校园网用户中正在产生网络流量的用户及其用户信息,并可限制指定用户继续使用网络;

应用限额:显示当前网络应用协议的限额使用情况。

2.2 内容审计

内容审计模块通过建立各种策略来控制校园网用户的上网行为,如互联网访问地址过滤、网络游戏控制、聊天工具监控、下载文件控制、发送信息审计监控、流量速度管理等,对电子邮件、聊天工具、BBS论坛、传统HTTP提交等方式发送、接收的所有信息内容进行全面审计监控,通过设置既定的保护规则使得系统在监控过程中出现异常情况时发出警报信息,通过灵活的配置网络访问控制策略,实现审计指定用户或IP的目的要求。

访问策略由用户、时间、地点、访问方式、访问内容、操作行为及对此行为采取的控制方法等六部分组成,也称作访问控制的条件集合,即只有满足这个条件集合时,才视为匹配该条访问策略。

在访问策略配置页面,管理员可以方便地查看和配置访问策略,如创建策略、修改策略、查看哪些策略正在生效、查看访问策略的控制方法、查看访问策略的优先级、查看策略的生效时间、生成策略报告等,校园网络舆情监控平台支持的审计策略共有六大类:

(1)应用层控制策略:对互联网应用进行控制,如网络游戏控制、股票软件控制、网络视频监控等。

(2)HTTP应用审计策略:包含有网页访问策略、搜索引擎策略、论坛发帖审计策略、电子邮件审计策略和HTTP文件审计策略。可以对指定用户在指定时间内所访问的网页进行审计和控制;可针对不同条件配置策略,条件包括网站类型(如色情、等)、网址类型(如国家、地域等)、文件类型、网址URL、标题、内容、请求数及网络流量等;可对校园网用户的互联网搜索关键字进行审计和控制,如禁止搜索敏感关键字;可对校园网用户在网站或论坛上发送的内容进行审计和控制;可对校园网用户发送电子邮件的内容进行审计和控制;可对校园网用户使用HTTP协议传输的文件进行审计和控制。

(3)社交工具审计策略:包括腾讯QQ审计、移动飞信审计、微软MSN审计和雅虎通审计策略。可对校园网用户使用QQ、飞信、MSN等社交工具的行为和内容进行审计与控制,对校园网用户用QQ、飞信、MSN等社交工具进行传输文件的行为进行审计与控制,可根据文件名称、文件类型和文件大小进行控制。

(4)电子邮件审计策略:包括通过POP3协议接收邮件和通过SMTP协议发送邮件审计。

(5)独立审计策略:包括对通过FTP协议上传下载文件行为进行审计与控制,对通过TENET协议进行远程访问行为进行审计,对通过HTTPS协议访问互联网行为进行审计。

(6)终端访问审计策略:主要包括客户端准入策略和客户端应用封堵策略,可允许或禁止满足或不满足既定策略的计算机终端接入网络。

2.3 用户管理

用户是互联网访问的标识主体,是校园网络舆情监控平台管理的目标对象。除校园网用户身份基本信息外,舆情监控所需的用户定义还包括其用户组信息和网络访问策略。每一个互联网访问都应映射到一个校园网用户,因此建立一套完整准确的用户定义信息是保证网络舆情监控平台进行有效管理的关键。

用户管理模块提供全面的用户管理功能,主要有用户导入、组织管理和认证管理三个子模块:

(1)用户导入:主要以三种方式来导入用户信息,可通过扫描计算机终端来导入用户信息,或对接校园网统一认证系统来导入用户信息,或直接通过文本文件来导入用户信息。

(2)组织管理:用户是上网行为的主体,一个用户包含有若干属性,比如用户名、登录名、IP、MAC、位置、工具等,一个用户可以属于某个组织,此外还可以属于某个位置,使用了某种工具,这种多维度的标识用户可以极大的方便管理员对具有某些共同特征的用户进行差异化管理,提升了用户管理的多样性。

(3)认证管理:设置校园网用户上网的识别和认证方式,支持本地认证和第三方认证,同时支持用户、IP地址、网卡物理地址之间的关系绑定设置。

2.4 查询统计

对用户网络行为进行记录与分析,是校园网络舆情监控平台必备的重要功能。对网络日志的保存及分析,既是遵守国家相关的法律法规,也是管理好校园网络、有效利用网络资源的切实需要。对校园网用户上网行为及其相关数据的查询统计,能够对校园网用户的网络行为进行较长时间的追查,为校园网络舆情监控提供详实准确的依据。

查询统计模块可以查询指定用户的网络访问、带宽资源等数据信息,并进行统计分析,定期发送到指定电子邮箱。数据信息涵盖了网址访问、搜索关键字、论坛BBS发帖、邮件收发、社交工具聊天、HTTP文件审计、FTP/TELNET/HTTPS协议审计、告警记录等,在每个类别中均有查询和统计页面。查询功能默认查询当天审计日志,通过设置过滤条件可查询历史审计日志,而统计功能是对历史审计数据进行汇总分析。

2.5 统计报表

统计报表模块可以将网站访问、邮件收发、论坛发帖、搜索关键字、IM聊天、用户活跃度等对网络活动摘要、用户行为统计、带宽资源统计、上网时长统计四大类进行统计分析,以表格、饼图、柱图、线图等多种形式展现,根据需要生成各种报告,并可以订阅报告,系统会按照需要定期发送到指定信箱。

统计报表模块主要分为以下几个功能:

(1)报告订阅中心:主要提供报告状态查看、订阅列表管理功能。支持报告的手动生成和自动生成功能。手动生成指的是在网站访问分析、应用访问分析、活跃度分析下的各统计页面,通过手动执行生成的报告。自动生成指的是根据管理员设置的统计条件自动生成日报、周报、月报或者指定日期的报告。

(2)网站访问分析:主要是针对网站分类、论坛发帖、搜索关键字等三类上网行为进行分析。

(3)应用访问分析:主要是对应用、邮件、文件和社交工具聊天等按设置的统计条件进行排名统计。

(4)活跃度分析:主要是将内网用户按照上网时长或者应用时长进行排名。

(5)综合分析:从网络带宽使用情况、用户网络行为规范、工作效率评估等方面进行分析统计。校园网络管理员需要知道网络带宽的使用情况、流量的分布情况,然后基于这些实际情况采取针对性措施。带宽资源报告内容分为整体带宽状态、重点事件、网络活动相关三部分。整体带宽状态以区域图、柱状图的形式显示整体情况;重点事件以表格形式展现汇总分析;网络活动相关则以饼图形式显示占比结果。用户网络行为规范分析可对校园网用户的访问互联网进行合规度分析,监控校园网用户的上网行为是否符合国家法律法规。工作效率评估可以分析校园网用户的上网行为与学习、工作的相关性。

2.6 日志中心

日志中心模块完整地将校园网用户网络访问日志存储在外置存储设备中,日志信息包括用户上网时间记录、网络流量记录、互联网访问记录、发送接收邮件记录、社交工具聊天记录、论坛BBS发帖记录、网络游戏记录、P2P文件下载记录、在线视频观看记录等。为进一步查询统计和报表分析,系统预设的记录留存时间为90天,而且可以通过FTP方式自动定时导出日志信息记录文件进行备份。

日志中心模块提供强大的日志查询与分析能力,可以对用户上网的历史日志离线查询。由于数据查询可以离线进行,不仅提高了日志查询统计的效率,还降低了网络舆情监控平台的计算压力,使其能够将重点放在协议识别与过滤控制。

3.总结与展望

借助校园网络舆情监控平台,学校可以理清充斥于校园网格内外的各种相关信息,牢牢掌控正确的舆论导向,把握学生的各种情绪和言论,迅速做出判断,在外界信息干扰他们之前就尽力避免学生中出现较大情绪的波动。同时,学校应该充分发挥已有的宣传媒体优势,整合校内各类媒体宣传资源,鼓励支持学生中发起的有利于校园文化和谐发展的倡议和活动。通过完善校园舆情监测机制,构建起信息、人际、活动三位一体的网络架构,最终形成功能互补、覆盖全面、富有效率的校园舆论导向新格局。

参考文献

[1]陈月生.群体性突发事件与舆情[M].天津:天津社会科学院出版社,2005.

[2]王玲玲.大学生网络舆论特征及其引导[J].思想理论教育,2006(3):32-35.

网络流量监控分析范文第4篇

关键词:网络安全,流量监控,数据备份,远程同步

 

1.引言

在互联网飞速发展的今天, 越来越多的公司关和企事业单位拥有了自己的网站。 网站不但是信息传播的工具, 也是非常好的商业运营方式。但由于互联网在安全方面的脆弱性,以及黑客对网站的攻击,使得网站的运行安全是我们设计网站时需要解决的问题。网站的安全不应仅依赖于防火墙和入侵检测, 也需要使用对网站的监控和恢复技术,力争使损失达到最小。而一些大型网站更是会在很多不同的地点建立分站点,一方面能提高用户的访问速度,分担负载,另一方面也是为了使得各分站的数据能够实现同步传输,防止因为各种原因造成的数据丢失所产生的损失。本文正是基于此目的,以12530网站系统为基本构架 ,Linux为操作系统 ,规划配置出一套能够对网站日常的运行进行监控与保护的相对安全的网络系统的方案。

2.网页监控和保护系统基本构架

如图1 所示 ,在本次12530网站建设中,我们将网站监控和保护系统基本构架设计成主要的三部分:(1)网络服务器。系统的主控台 , 拥有良好的人机界面 ,对静态网页和动态脚本进行校验。(2)备份服务器。对静态页面、动态脚本、静态网页和动态脚本的校验值及数据库数据进行备份。(3)Rsync-server服务器。将产生的数据与其他分站进行远程双向同步。

图1 网页监控和保护系统基本组成

3.实现对网络流量实时监控与异常报警

随着网络规模的不断扩大,容量不断增加,新的应用不断出现,网络环境变得更加复杂、多变和异构,对网络流量进行监控与分析已成为对网络行为分析的主要可行途径。通过对整个网络进行流量监测,获得网络设备及骨干网每时每刻的流量数据,并对其进行分析和研究,才能发现整个网络运行的规律,不断提高网络安全性能。目前在世界各地有许多公司和学术团体 , 根据不同的计算机系统与需要开发出不同的网络流量监控工具如Cacti, Sniffer Pro, ROM II, NetDetector,Netxray等相关软件。表1 列出了五种流量采集工具的主要性能比较。

网络流量监控分析范文第5篇

【关键词】图形化;信息网络;网络管理;运行维护

0.引言

在当今时代,信息网络系统已成为社会组成必不可少的一部分,而信息网络系统在各个企业中已成为企业办公、生产、运行管理等方面的重要支撑平台,随着社会发展和企业信息化规模扩大,网络的规模也随之越来越大,网络的结构日趋复杂,局域网的运行维护任务也日益显得复杂繁重,因此如何能够简单有效地管理和维护内部网络已成为当前网络管理研究的一个重要方面,迫切需要一种网络管理方式可以简化运维流程、减少运维步骤、快速查找故障、明确运维目标和提高运维效率。目前商用网络管理软件种类繁多,例如国内的北塔、网强等网络管理系统。这些商用软件网络管理功能较为全面,但是针对信息网络运行维护来说,还存在一些不足之处。

本文介绍了一种针对信息网络运维而设计的网络监控系统,该系统强调以图形化的方式显示当前网络各节点状态。以直观的方式反映网络故障或潜在的故障,具备节点控制、监测日志、统计以及多种智能报警功能,力求减轻网络运维人员的工作量,提高工作效率。

1.概述

在大中型企业内部的整个网络上面运行着各种服务器以及众多的个人台式机,点多面广,管理维护难度和工作量都相对较大。仅靠单纯的人工管理,被动式的检查维护已无法满足整个系统良好运转的需要,面对并处理网络中众多设备发出的事件报告和短时间内检测发现故障点等问题,所有的这些要求很清楚地摆在网络管理人员的面前,因此迫切需要对网络进行主动的监视,自动进行网络故障的检测与解决,以维护网络的良好运转,从而更好地服务于整个公司的业务系统。

图形化监控系统可以更加直接地反映信息网络系统状态和故障,使运维人员明确网络系统运行状态,快速查找故障节点并进行处理。首先,收集网络环境内所有网络节点的信息资料和办公环境图纸,确定网络节点物理位置,建设信息网络节点图形化管理系统,根据收集的信息建立图形界面和联动资料库,包括用户物理位置、用户信息、设备信息、网络连接状态信息等;然后把信息网络节点图形化界面与现有的网络管理系统进行接口配置,在图形界面上产生网络节点的实时状态信息,同时可进行接口状态操作,并进行网络节点状态联动报警系统,当故障发生时,对预先指定的报警情况进行报警,报警方式可通过邮件和短信,使维护人员在第一时间得知并判别故障类型和严重程度,并通过图形界面精确判断故障地点,缩短网络故障发现和处理时间。

2.图形化网络监控管理系统技术结构、技术优越性

2.1图形化网络监控管理系统技术结构

图形化网络监控管理系统由图形部分、网络管理功能部分、网络健康度评估部分和运维流程部分组成。各部分的作用为:

2.1.1图形部分

图形部分是整个监控管理系统的衔接部分。其作用首先是系统本身各类功能的操作界面和针对网络系统各环节物理位置的直观展示,比如机房内设备位置图、建筑结构图和办公室网络布点图等,以及网络系统整体和部分的拓扑结构图,用三维图形和二维图形结合进行展示;其次是对整个监控管理系统的各功能部分进行衔接,像前面提到的网络管理功能部分、网络健康评估部分和运维流程部分要通过图形部分进行衔接,使各部分功能得到体现,监控人员通过其进行监控和管理。图形部分的完整度和详细度直接影响到整个监控管理系统的运行效果。

2.1.2网络管理功能部分

网络管理功能部分是整个监控管理系统的核心组成,按照分层架构设计思想进行建设,实现网管数据采集与处理的分离,数据处理与呈现的分离,共分为 3 个层次:数据采集层、数据处理层和功能显示层,具有较强的灵活性和可扩展性。

数据采集层:数据采集层是位于数据处理层与管理对象之间的数据采集子系统,与 IP 网的网元设备和相关的业务系统交互,遵循标准的通信协议,完成系统所需的各类原始管理数据的采集,包括主机、网络、数据库、中间件、应用软件、环境等数据源的原始信息,如配置数据、性能数据、故障数据和准确性数据等。

数据处理层:将数据采集层所获得各种数据进行清洗、整理和标准化处理,提供各应用功能进行处理分析、统计及存储,如通过触发事件发生器,将收集的各类原始信息与KPI阈值对比后进行分析、配置或处理,形成资源分类的告警信息等。

功能显示层:针对分类管理信息进行统一汇总和多维展现,实现网络、系统硬件设备资源和软件运行状况的统一监控和管理,保障业务系统的正常运行。

另外按功能模块划分可分为六大模块,包括数据采集组件、综合网管服务、WEBService 应用组件、IE显示层组件、数据流分析探针、外部数据库,各模块组件之间通过TCP/IP进行通信,支持灵活的集中或多服务器的部署策略,提高系统的可扩展性。下面是其中几种模块的功能简介:

数据采集组件:接收各网管功能模块的数据采集请求,定时其管理范围内的被管对象中收集IT基础设施信息,同时维护、提供性能数据缓存,存储获得的IT基础设施的性能信息,从而达到:统一的数据获取接口、多管理协议支持、可扩展的IT组件支持、数据有效性控制和智能化网络访问控制。

综合网管服务:综合网管服务(NMS)作为数据处理层,建立了网络管理模型和资源数据访问模型的标准化,NMS数据处理层中采用了O/R Mapping、IOC、Remoting等技术完成系统的架构和实现。NMS将实体对象的数据如网络配置数据、资源数据存储在关系型数据库中,通过O/R Mapping 实现将关系模型映射到面向对象的数据模型,提供完整的面向对象的数据管理、访问模型和接口,完成了网络管理数据的对象化,包括:网络配置数据、 设备网元数据、性能数据(历史数据、实时数据)、告警规则配置数据、告警信息数据、服务资源数据和用户权限配置数据。

WebService应用服务:与图形化部分紧密结合,监控系统的应用管理、呈现层采用WEB架构实现,通过WEB2.0、AJAX、WEBSERVICE、JSCRIPT等技术,实现完整的B/S模式的应用管理、数据呈现等核心功能。通过管理控制台集成了网络拓扑管理、网络监控、故障管理、报表管理、服务资源管理、资产管理和系统管理等。方便用户统一执行管理任务。门户功能模块可归纳为三种类型:门户基本框架和管理功能:提供门户通用服务和基本功能。包含用户管理,门户系统权限管理等。对其它系统的集成功能:主要提供对于系统监控管理,流程管理,分析报表集成。管理门户将作为这些系统的统一访问入口,并为用户提供单一登录功能。开发定制的特定服务模块:开发用户要求的日志和审计功能模块,用户访问统计模块。

数据流分析探针:监控系统的性能数据采集能够支持秒级单位的采样周期。能够提供原始采样频率的数据。监控系统经过一段时间的记录,能够通过对性能数据的对比,生成相应的阀值告警事件。监控系统通过Web访问的方式为用户展示物理拓扑结构,并通过物理拓扑结构为用户提供全网的性能和状态信息,并通过颜色表现表示出来,帮助用户及时发现网络潜在的故障隐患点,从而为用户提供管理数据的分析、诊断机制和运维管理流程。

2.1.3网络健康度评估部分

评价指标主要包括可用带宽、单双向时延、单双向时延抖动和单双向丢包。可用带宽直接影响网络业务的质量、网络对即将开展业务的支撑能力以及网络的扩容规划和设计。单向时延、单向时延抖动和单向丢包之所以不可缺少是由于业务服务器和客户终端内容交互的非对称造成的。评估方式由系统采用基于端到端的网络性能质量测试方法,指标是端到端之间的指标而不是单个设备、某一段甚至某一跳之间链路的指标。端到端的含义包括业务的起始点和业务的终止点整条路径,是业务传输的全部环节,端到端的单向时延是从一个测量点(一个具体的IP地址)到另外一个测量点的数据报文传递所用的时间,这个时间是转发时延、排队时延和传输时延的总和,通过一系列测试后可以得出现有网络健康度情况。

2.1.4运维流程部分

网络运维流程从功能上可以划分为六个模块,各模块功能如下:

任务工单管理。该模块实现临时性任务管理功能,如派发给县公司的任务工单、接收来自公司的任务工单、部门内部用于任务分配的个人任务以及部门之间用于项目管理的部门任务等。

业务流程管理。该模块实现对例行性网络运维业务流程的管理功能,如资源调度流程、故障处理流程、网络优化流程和业务开发流程,这些流程一般可分解为定义良好的任务、角色、规则和过程,通过与人和各种应用系统的交互来进行工作流程的执行和监控,达到提高网络运维效率和网络管理水平的目的。

统一工作任务列表。该模块为用户提供统一工作任务列表,包括当前任务、新建任务、已派发任务、已处理任务、阅知任务和待发任务。通过统一工作任务列表可以接收处理来自各方面的任务工单及来自工作流系统的业务流程。

工作任务统计分析。该模块实现对个人工作和组织工作的统计分析功能,包括派发任务数量、接收任务数量、不同难度任务所占比例、任务完成及时率、任务完成质量及绩效指标完成情况等。

接口适配。该模块提供与网管部分、图形部分以及资源管理平台的接口适配功能,通过系统之间的数据交换和应用集成达到部分业务流程自动化的目标。

工作流管理系统。工作流管理系统是用于定义、实现和管理工作流运行的一套软件系统,通过与人和各种应用系统的交互来进行业务流程的执行和监控。工作流管理系统是网络运维流程支撑平台的核心,包括图形化建模工具、工作流引擎、管理监控工具和工作任务列表四个主要功能模块。

2.2技术优越性

2.2.1网络故障查找直观明了,图形化网络监控管理系统的特点是实体图形的大量使用,把网络连接、设备位置、机房或房间布局、故障点描述等通过具体的图形表现出来,再与网络管理系统各个监测功能模块集成,就可以直观明了的对各类故障情况进行图形化描述,信息网络运维人员可通过该系统了解故障的等级、类别、具置,并以此得出相应的处理办法,直接节约了普通故障查找的人力和时间,提高了工作效率。

2.2.2网管系统功能全面,由六大模块组成,包括数据采集组件、综合网管服务、WEBService 应用组件、IE显示层组件、数据流分析探针、外部数据库,涵盖层次化管理、拓扑管理、网络监控管理、IP地址管理、主机服务器管理、数据流分析、故障报警管理和报表管理多项功能,还可通过相关功能模块对整体或部分网络系统健康度进行评估,以此为依据指定相应的网络整改方案。

2.2.3信息网络运维流程明确,可通过网络运维部分人为或自动进行运维工单下达,实现完备的流程化操作,包括任务工单管理、业务流程管理、统一工作任务列表、工作任务统计分析和工作流管理,从接受运维任务、任务分析、制定运维方式、资源调拨、人员派遣、运维操作、完成任务和对应不同变数选择相应调配方式完成运维流程。

3.图形化网络监控管理系统的应用

3.1系统中图形部分的应用

该部分应用包括系统本身操作界面图形和具体信息网络拓扑信息及实际物理环境图形的规划编制。首先是操作界面图形的规划编制,涵盖层次化管理、拓扑管理、网络监控管理、IP地址管理、主机服务器管理、数据流分析、故障报警管理、报表管理和系统管理,以及各大类下面具体分类的操作界面图形,如下图所示:

其次是具体信息网络拓扑信息及实际物理环境图形的规划编制,要收集公司范围内所有网络节点的信息资料和办公环境图纸,确定网络节点物理位置,具体到网络设备、网络线缆、网络通道、安全设备、服务器的布点状态,以及信息机房和办公室的布局图纸,如下图所示:

然后用具体的网络设备图形反应实际网络连接情况,如下图:

最后可根据图形的详细显示得出网络故障节点位置和严重程度等信息,极大的便利了网络运维工作。

3.2系统中网络管理功能部分的应用

网络管理功能部分是整个监控管理系统的核心组成,通过snmp协议读取和写入交换机、路由器、服务器等信息设备策略和数据信息,主要通过人工录入和自动搜索相结合的手段进行设备发现和链路获取,整合分析数据实现层次化管理、拓扑管理、网络监控管理、IP地址管理、主机服务器管理、数据流分析、故障报警管理和报表管理多项功能,再通过设定网络管理系统本身的报警策略定制报警数值和临界点等信息,以图形颜色标示、声音、短信或邮件等方式对系统管理员进行告警。

网络管理功能部分是整个系统的核心,图形部分的功能显示、网络整体健康度评价和运行维护人员流程管控,都要通过功能部分进行实现和链接。

4.结论

图形化网络监控管理系统在信息网络运维中的应用,将解决网络运维侧重于对网络设备本身或网络的维护与管理的问题,解决各类网管系统之间信息无法互通、管理内容庞杂、操作界面多样等问题带来的局限性,大大降低了信息网络系统的运行风险,提高运维工作效率,实现对全网的综合管理,包括全网故障分析、故障定位、全网性能综合分析等功能,能够从总体上提高企业的全网综合管理水平和运维工作效果。

【参考文献】

[1]张玮,唐学文,马颖.图形化校园网络监控系统的设计与实现.计算机与现代化[J],2007,5:72.