首页 > 文章中心 > 舆情监测

舆情监测

舆情监测范文第1篇

关键词:网络舆情监测; 主流舆论

中图分类号:G203 文献标识码:A 文章编号:1006-3315(2013)03-173-001

加强网络舆论监测与引导,是推动网络健康发展的必由之路,也是推进我国民主建设与法治建设的途径。根据网络舆论监督的特点,可以从以下几个方面完善网络监测和引导网络舆论监督行为。

一、制定网络舆情预警机制

网络舆情预警是指从危机事件的征兆出现到危机开始造成可感知的损失这段时间内,化解和应对危机所采取的必要、有效行动。制定网络舆情预警利于及早发现危机的苗头,及早对可能产生的现实危机的走向、规模进行判断,及早通知各有关职能部门共同做好应对危机的准备。危机预警能力的高低,主要体现在能否从每天海量的网络言论中敏锐地发现潜在危机的苗头,以及准确判断这种发现与危机可能爆发之间的时间差。这个时间差越大,相关职能部门越有充裕的时间来准备,为下一阶段危机的有效应对赢得了宝贵的时间。

二、强化网络“把关人”

任何信息传播,都是信息选择的过程,其间充满了各种各样的“把关人”。网络把关人包括网站编辑、网管等,在信息选择、引导舆论方面的作用至关重要。网络把关人应是信息提供者、信息引路人、信息规范者和监督者,设置好有关话题或议题,吸引终端上的个人参与到公共话语空间,通过自由热烈的网络互动,及时的新闻报道,再加上详尽的事实背景材料,对不同空间的话语进行整合,在交流中引导大众舆论,促成正确舆论的形成。在把关中,切忌简单粗暴的删帖,要注重运用动之以情、晓之以理的引导艺术,使网民产生理性和情感上的认同与共鸣。

三、保持信息的公开透明

“传播力决定影响力,话语权决定主动权,透明度决定公信度”。面对社会生活中出现的热点、难点、疑点和突发事件及敏感问题,我们新闻媒体多年来一直面临“报与不报”的困惑。但实际上,热点、难点问题恰恰是群众最为关注的,读者最关心的。公共事件发生后,你不报,就是把话语权拱手让给别人,就可能导致非正常渠道的捕风捉影的信息得以快速传播,给事件处置带来不利影响。谣言止于公开,要确保人们获取信息的权威准确,压缩谣言扩散的空间,必须保持信息的公开透明。同时要最大程度地争取传统媒体的支持,利用传统媒体的公信力和权威性,最及时权威的信息,影响网络舆情的走向。建立新闻发言人是一个有效举措。通过新闻发言人,既向公众传递了权威信息,又将信息内容归口到“新闻发言人”这一权威信息源,从而使政府部门在处理舆情危机时,掌握了主动,稳定了民心。

四、加强网络舆情技控管理

到目前为止,网络技术手段依然是实现网络舆论管理的一个有效方法。常用的网络技术手段包括对IP地址的监测、跟踪、封杀;网管的全天候值班监测,对负面消息进行及时清除;运用智能型软件进行敏感词组的自动过滤;对论坛发帖的延时审查及;对国外敏感网站浏览限制;部分重要论坛实行实名认证制度等。尽管这些做法会引来种种争议,但至少在短时期内依然是网络舆情引导控制的有效手段。

五、发挥“舆论领袖”的正能量

在密切注意潜在负面舆论的同时,对于正面舆论的苗头也要进行提炼、归纳与放大。放大正面舆论的方式可以邀请一些专家、学者或专业人士做媒体评论、专家点评,邀请民众代表媒体访谈等,还可以请广播、电视、报刊等传统媒体对正面的网络“舆论领袖”进行专访,使其从幕后走向台前。“舆论领袖”在影响受众的态度方面,作用明显。尤其当网络上出现海量的信息时,一般公众往往会无所适从。这时候,他们更需要权威的“舆论领袖”的声音作为自身决策的重要依据。就目前我国一些较有影响力的论坛的参与情况看,培养论坛的“舆论领袖”,利用这些“舆论领袖”来引导网上舆论,已成为普遍做法。这些“舆论领袖”有见地、有代表性的发言一般被版主用醒目的字号和色彩加以强调,放在网页的突出位置,以强化主流言论,孤立非主流言论。

六、尽快实现网络立法

我国目前相关法律法规的不健全制约了网络舆论监督的发展。近年来,世界上许多国家都在思考如何加强互联网管理,探索可行的方案。美国最近10年先后出台了《未成年人互联网保护法》、《反垃圾邮件法》等与互联网管理有关的法案。我国现行相关的法律法规有:《互联网信息服务管理办法》、《新闻网站电子公告服务管理暂行办法》等,但上述法律法规尚存在不够完善之处,对于网络监督腐败现象出现的问题,如何处理知情权与隐私权、言论自由与人身攻击、社会监督与造谣诽谤等关系问题,尚需更为明确的界定。目前当务之急要明确规定网络舆论监督公权力腐败行为的法律责任及监督主体的权利及义务,使其在法制化轨道上健康运行。一些地方和部门正在进行这样的探索。2008年8月株洲市纪委、市监察局出台《关于建立网络反腐倡廉工作机制的暂行办法》,成为全国首个网络反腐文件。之后颁布了《网络反腐倡廉工作平台操作规程》等文件,为网络监督与纪检监察制度对接迈出了坚实的第一步。

总之,社会公众应该具备对于各种网络信息的分辨能力,保持冷静理性的头脑,让虚假的网络信息和偏激的网络舆论消失在萌芽状态。同时,网民应注重自身的道德建设,既要明确权利,又要牢记义务和社会责任。还要有清醒的法律意识,不做对他人、社会、国家有害的事。此外,网络服务商也要加强行业自律。一方面可以通过技术手段删除危害国家、社会或侵犯个人隐私的帖子,并对发贴人提出警告;另一方面,也要遵守职业道德,不传播有害或不健康的信息和言论。只有这样,才能进一步净化网络舆论环境,为网络舆论监督的发展拓宽道路。虽然网络舆论还存在一些问题,但我们应该相信,随着科学技术的发展,网络的普及,相关法律的制定以及网民的自身素质的提升,我们终究会享受到网络舆论带给我们的巨大好处。

参考文献:

[1]王来华.政府如何应对舆情危机[J]决策,2007年7月

舆情监测范文第2篇

当年曾受到李嘉诚剪报启示的王剑波也将公司命名为“东方剪报”,这里是否有对亚洲首富致敬的意义不得而知,但是有一点相当明确的是,如今的“东方剪报”不再仅仅提供传统剪报这一功能,更多的是新闻、广告信息的全面收集、分析、舆情预警。当然,其渠道不再仅仅局限于报刊杂志,而是全方位覆盖广播、电视、网络、微博、微信、移动、户外等全媒体。东方剪报也早已拓宽了“剪报”的字面含义,成为了服务于政府和企业的全媒体舆情监测的利器。而近年来,随着与世博会、国土局信息中心、故宫、三元牛奶、首钢集团、以及沃尔玛等政府部门和极具品牌影响力的世界级公司深度合作,东方剪报已经成长为媒体舆情监测行业翘楚。

厚积薄发的东方剪报

媒体舆情监测,是互联网时代的产物。百度百科上有如下通俗定义:整合媒体信息和互联网采集技术及信息智能处理技术,通过对海量信息自动抓取剪辑、分类聚类、主题检测、专题聚焦,实现用户的媒体舆情监测和新闻专题追踪等信息需求,形成剪报、报告、图表等分析结果,为客户全面掌握自身资讯、竞争对手、行业动态,做出正确的传播与舆论引导,提供分析依据。

在海量信息汹涌的互联网时代,媒体舆情监测可谓生逢其时。一条负面信息如果处理不当,可能引发品牌形象的坍塌或摧毁,造成不可估量的损失。因此,不论是政府部门还是企业都已经意识到媒体舆情监测的重要性。东方剪报在信息咨询产业积蓄多年的能量在这一大时代下蓬勃爆发了。

屈指算来,东方剪报已经有十五年的历史了。

“在公司最初成立的那几年,尽管一直在关注着信息咨询,尽管也在做着信息收集等相关剪报工作,但更多的精力放在其它地方,也是因为,公司成立最初那几年,媒体舆情监测的理念还不像现在这样被广为人知。但庆幸的是,我们的公司尽管在最初那几年没有扩大规模,但却一直保持着信息收集和分析人员的积累,因此,在这一行业开始蓬勃发展的时期,我们可以迅速跟进,快速出击。”王剑波毫不讳言公司曾经的蛰伏期。或许,也正是那几年的蛰伏期,让他能够积累深广的人脉资源,以及明晓了他对信息咨询行业无法割舍的情怀,因而,他和他的东方剪报能在舆情监测大环境爆发之时,抓住机遇。

几年间,东方剪报的服务对象有政府也有企业和机构,服务的行业涉及金融、IT、通信、体育、教科文卫,服务范围有国际重大赛事监测也有公益事业和社会责任。它帮助政府舆情预警,也帮助企业品牌传播,它做好媒体舆情监测本身,也专注深挖跨媒体多模态全媒体舆情信息大数据内核的理论研究,同时更致力于全媒体舆情信息的个性化服务。

让东方剪报在媒体舆情监测行业崭露头角的案例不能不提的是世博会的舆情监测与剪报服务。众所周知,世博会是一次国际盛事,也是中国向国际社会全方位展示自己实力的一次绝好机会。中国又是首次举办此次盛会,在媒体监测,特别是舆情预警方面自然也会以国际化高标准严格要求。因此,在媒体舆情监测服务商的招标过程中,东方剪报竞争对手的实力都不容小觑,每一个参与招标的舆情监测公司从实力到战绩都有着辉煌的记录。“那段时间,真的是压力很大,想要打赢这一仗不容易,毕竟,这是一个国际化盛会。”王剑波回忆着,“只有全媒体监测,才能把握舆情!”东方剪报在业内首先提出了这一响亮口号。“我们除了拥有自主研发的搜索引擎系统,遍布全国的线下剪报人员也成为此次招标成功的关键。如果只从搜索引擎上摘引信息,难免会遗漏很多线下信息,而在很多线下信息还没上网的情况下,线下信息员的剪报工作尤其重要。”东方剪报遍布全国,网点密布的线下信息员,成为世博会招标过程中的优势和亮点。而这也是东方剪报打造中国全媒体舆情监测个性化服务第一品牌的一张王牌。

世博会的舆情监测,招标成功只是刚刚开始,在长达五个多月的世博会运行期间,王剑波和他的团队真可谓把心提到了嗓子眼,一刻也不能放松。网上通过自主研发的搜索引擎系统日夜不停地全网采集,线下信息员从读报识别到扫描采集,从现场拍摄到实时采编,及时信息,不遗漏每一个信息点。在世博会试运行期间,东方剪报及时收集参观者的信息反馈:世博场馆内的饭菜过于昂贵、场内指示标志不明晰等等状况及时反馈给了组委会。组委会根据东方剪报提供的媒体舆情数据与分析报告,迅速调整服务。在长达五个多月的世博会舆情监测中,王剑波和他领导的团队打了一次漂亮的战役。也充分证明了,东方剪报已经拥有了服务国际化盛会的实力,不论是在规模还是在时间上,都能经受得住考验。

一条信息可能发生的奇迹

在东方剪报的网站上,有着这样一句醒目的话:“我们每期提供的信息哪怕只有一条被您采用,您就有可能作出一次成功的决策 ;我们每期提供的信息哪怕只有一条被您采用,您就有可能避免一次决策的失误”。这并非危言耸听,有实例为证——

2008年,国产奶粉遭遇一次严重的信任危机,北京三元集团委托东方剪报为其做“三元媒体报道每日适时监测”。东方剪报立即启动了红色危机预警。

2008年9月20日,《生活报》记者笔误,错误报道了一则“发现蒙牛、伊利、光明、三元等知名品牌企业生产的液态奶含有三聚氰胺”的消息。当日下午4点27分,该文章刚在网络发出,4点30分,东方剪报媒体监测中心就监测到了这一负面报道信息。当日正好是周末,监测人员立即通过电话向三元报告了这一舆情信息,很快引起了三元领导层的高度重视。他们果断的采取了紧急措施,《生活报》于2008年9月22日(星期一)在头版公开向三元及大众做了“诚恳致歉”,并重新刊登了正确的文章。东方剪报的危机预警,帮助三元挽回了一次严重的舆论损失。

同时,东方剪报媒体监测分析专家组也高质量地完成了“中国应对‘问题奶粉’期间三元媒体监测分析报告”等任务。为此,三元有关领导亲自打电话给王剑波,表达了“衷心的感谢”。

一条信息从发出到被监测到,仅仅不过三分钟时间,就在这如此短暂的时间,狙击了一条会带给企业致命冲击力的信息。

类似案例还有霸王洗发水。2010年11月,霸王集团因为香港凤凰卫视发端曝光的洗发水含致癌物质事件而成为众所周知的危机舆情事件。东方剪报接受委托对其进行全媒体监测并做舆情分析报告。东方剪报舆情科技研发中心采用“人机结合”模式,使得客户信息得以全面快速准确的把握。在某次监测过程中,监测人员细心地发现了人民日报的一则题为:“‘网络打手’如何翻云覆雨,操纵网上舆论?”的新闻——这并不是专门为为霸王写的文章。但在这篇文章中人工甄别到了一句:霸王洗发水是网络打手“受害者”的话,舆情分析人员敏锐地将此提炼为:“人民日报为霸王说了公道话”,成功地将霸王洗发水品牌从备受网民指责的品牌转化为网络暴民口中的受害者,可谓绝地反击,峰回路转。而这些服务,已经不再局限于舆情监测,同时将服务外延到品牌服务中,可谓一次令人惊艳的危机公关。

2011年,故宫相继遭遇“十重门”、“盗窃门”“错字门”等重大负面信息的包裹中,一时间,故宫成为众多网民口诛笔伐的对象,平日高大上的形象遭受严重的伤害,基于此,故宫委托东方剪报为其做舆情监测,东方剪报为其提供了完整的舆情分析监测分析月报,成功地将故宫从负面信息包抄的境遇中突围。

……

东方剪报自主研发的N讯技术在国内也属于领先水平,并获批国家知识产权。从硬实力的N讯产品到多年经营遍布全国各个角落的信息剪报员,以及核心员工敏锐的信息判断力,东方剪报在媒体舆情监测过程中总是能带给客户惊喜。

从媒体人到舆情先行者

东方剪报最近几年战绩不俗,它的创建人王剑波逐渐走进大众视野,并引起业内瞩目。

王剑波是重庆人,豪爽耿直重义气也成为他身上浓重的性格特征,按照王剑波自己的话说,他是工农兵学商各个领域的工作都做过。六十年代出生的他,赶上过上山下乡务过农,做过工人,也曾经当过兵,后来成为重庆某中学的政治教员,而此时又纵横商海。不安于现状的他在中国经济改革的浪潮下,抛下家乡所积累的安稳生活,来到北京打拼。写得一手好文章的他很快在传媒业找到了自己的一席之地。他曾经担任过国务院扶贫办《中国地区开发》杂志社副社长、人民日报《情系中华》执行主编。主持并策划过多项大型主题报道。在担任《情系中华》执行主编之时,成功策划报道华人华侨100系列,也就是在此次大型人物报道过程中,他得以采访长江实业集团总裁,亚洲首富李嘉诚先生。如前所述,也是在那次会面之时,他无意中看见李嘉诚桌上的剪报集锦,成为他创办东方剪报信息服务公司的诱因。

“那次采访前后历经两个多小时,李嘉诚先生非常平和亲切,一点也没有所谓首富的傲人架子,从他的人生经历到他的商场经验,都很诚恳地与我们分享。”王剑波看着墙壁上他与李嘉诚的合影,陷入了愉快的回忆之中,“那次采访,受益颇深。”

与智者一席谈,胜过寒窗十年。那次采访所领受的智慧财富,成为王剑波人生重要的积累,并不仅仅限于他从李嘉诚那里获得的剪报启发,还有亚洲首富那独有的开阔胸襟与国际化视野,都成为他的学习榜样。

舆情监测范文第3篇

近年来,网络热点事件不断涌现,在人民群众的日常工作与生活中形成了一个无形的“言论自由市场”。不少的“网络民情”甚至对政府与企业的管理决策都产生了重大影响。以最近火爆上演的“3Q大战”为例:由于“网络水军”的大规模“参战”,“3Q大战”已然演变成了一场彻头彻尾的“舆情战”,在社会和学界都产生了重大影响,并最终引起国家工信部门的直接干预。

根据笔者实地调研发现,目前,华南等地的标杆类商业资讯服务公司已瞅准网络舆情现象发展壮大的必然趋势以及网络舆情衍生品的巨大市场潜力,开始着手布局相关业务。据业内专家预计,围绕网络舆情展开的相关商业类服务项目在明年年中即可正式出台。由此看来,网络舆情已成为中国企业不得不上的重要一课,谁先认识到网络舆情的重要性,并有针对性地做一些准备工作,谁就将抢占未来市场的制高点。

网络舆情和舆情战在风电装备制造行业也正逐渐掀开其面纱。在有关风电行业的各大专业性网络论坛上,笔者常常发现许多通过传统公开渠道无法了解到的风电行业信息,不少此类信息甚至涉及到具体某企业的内部机密,且回贴者的数量可观。经笔者亲自向有关行业专家与媒体负责人证实,此类信息大多为虚假信息,且此类虚假信息的意图大致可分为三类:一类在于混淆扰乱大众的视听,方便相关机构或个人在行业中浑水摸鱼,牟取相关利益;一类在于部分企业为包装其良好公众形象而的变相广告类信息;一类是出于恶意诋毁其竞争对手等。相关风电行业媒体据此已关闭相关论坛,如“风力发电信息网”。据推断,此类虚假信息的者往往为涉及风电类各行业企业的员工或相关从业者。

与此同时,更值得警惕的是,越来越多的现象表明:一种名为“网络水军”的社会力量正蓄积力量,正迫不及待地想要加入风电讯情领域,为风电装备制造企业间潜在的“舆情战”推波助澜。“网络水军”是受雇于网络公关公司,为他人发帖回帖人,为制造并导引舆论趋势的网络人员,近年来规模迅猛扩大,操纵舆情的能力急剧增强。由于行业管制的缺陷,“网络水军”已成为一支忽视社会道德,纯粹趋利的隐蔽团体。他们的出现使得网络舆情由最初的网友各抒己见转变成现在的故意炒作,甚至被用做企业之间相互排斥、诽谤和攻击的不法竞争手段之一。如不加以管制与打击,增强企业自身预防能力,则很可能在不久的将来给相关风电装备制造企业的管理运营带来极大影响。

从整个风电行业来看,2010年以来风电行业市场大小事件与事故不断,如东北、西北等地出现多起风机倒塌事故,在相关网络媒体上围绕此类话题已经出现了一些“舆情战”的苗头。业内人士认为,风机价格的一再走低已暴露出了风机厂商之间逐渐抬头的恶性竞争趋势,这势必成为企业间打响“舆情战”的诱因。笔者所在的信息部发现:近日,某龙头类风电整机装备制造企业已面向社会招聘高层次的媒体经理,专职媒体沟通,舆情监控管理,处理舆情危机事件等。考虑到该企业在行业内的标杆示范效应,可以确定:风电装备制造行业的相关先行者已开始高度重视和关注网络舆情的影响力,并采取了一定的行动。

舆情监测范文第4篇

关键词:网络舆情;网络爬虫;网络资源;爬虫测速;主题更改

中图分类号:TP391.3

21世纪是信息科学技术飞速发展的世纪,互联网在生活中的应用越来越广泛,尤其是随着智能手机逐渐普遍,人们能够通过移动互联网更加便捷地获得外部资讯。网络舆情是当前网民们针对热点社会事件以及社会政治经济状况等内容反映出的态度总和。“管中窥豹,时见一斑”,可以说网络舆情就是当前社会现状的放大镜,针对这些态度思想及政治倾向的社会舆论信息的收集整合,是分析社会动向、研究人民需求的重要手段。

互联网引擎搜索技术并未完全成熟,在很多具体环节仍旧存在着缺点,严重制约着网络舆情监测工作的全面展开。传统的网络爬虫技术在进行网络信息的获取时,对其内容的处理精确性和不足,存在着无用信息过多和部分关键信息缺失的情况。因而,针对网络爬虫技术进行研究,提出更为有效的优化措施是一项十分必要的工作。

1 互联网舆情检索技术

现阶段建设的网络舆情监测系统基本涵盖了所有互联网领域的基本技术,是一项复杂而庞大工程。但从系统的功能实现上看,舆情监测系统的关键技术是由互联网信息采集技术和文本信息抽取技术构成的。

1.1 互联网信息采集技术简介

作为互联网搜索引擎获得信息的基本技术,信息采集技术的实现方法包括元搜索和网络爬虫两种模式。这也是当前网络舆情监测信息获得的主要途径。

所谓元搜索技术,就是在检索过程中将多个网络搜索引擎以串联的方式运行,监测方提交的搜索条件被初步处理后,分送给这些串行的搜索引擎,由其各自完成对相应数据库信息的检索工作,在获得初步搜索结果后,再将这部分信息进行二次加工,通过去重、排序、过滤等方式完成冗余信息的处理。元搜索技术在检索信息全面性方面要明显优于单搜索引擎技术。同时,元搜索技术在进行信息检索时并不需要对所有互联网信息进行搜索,具有明显的效率优势。

1.2 网页信息抽取及预处理技术

作为网络信息获取的最终步骤,对检索程序获得的网页信息进行抽取和预处理是搜索信息全面的重要影响因素。所谓网页信息抽取及预处理技术是将网络信息中包含的自然语言根据检索条件进行提取,从中获得需要的实体、关系、事件等要素,最终并用易于理解接受的规范化形式对结果进行记录和展示。现阶段一个成熟的互联网网站,其页面通常包括导航栏、正文标题、正文内容、相关链接、推广信息、版权公告等。而在这些内容中,真正吸引用户的是正文标题和正文内容,也就是切合用户需求的主体信息。在获取网络信息的过程中尽量获得这些主体内容,对其他次要信息进行选择性忽略正是网页信息抽取及预处理技术重要的功能。

2 舆情监测网络爬虫技术简介

作为当前重要的互联网信息采集技术,网络爬虫(We-bCrawler)技术在实际应用中收到了较好的效果。当前各领域构件的舆情采集系统中广泛采用的是Heritrix网络爬虫,这一开源程序允许用户的自主修改移植。Heritrix主要有三大部件:范围部件、边界部件、处理器链。其中,范围部件控制抓取的URL入队过程;边界部件则对选定的URL的收集情况进行监测,进而选择下一个URL,排除已处理URL;处理器链则可视为URL处理器,其工作结果会反馈给边界部件。

网络爬虫的工作流程是从未访问URL队列中选取目标并开始爬行,通过URL的指向作用,引导程序识别目标网页,通过事先认可的网络协议将网页内容爬取抽取出来,然后解析内容其中包括目标网页内的新URL,并将这部分URL添加进未访问列表,完成爬取后获取的内容存放到本地网页库内。

3 提高网络爬虫在舆情监测应用水平的措施

网络爬虫的本质是能够使实现网络信息自动提取代码程序,是网络搜索引擎功能的主要实现手段。网络爬虫包括通用爬虫和面向主题爬虫两种,当前网络舆情监测使用的面向主题网络爬虫程序,会通过网页分析算法对非设定主题链接进行排除过滤,提高了搜索的精确性。当前,网络舆情监测中的面向主题爬虫技术的主要研究对象的行业领域的URL搜索策略问题。

3.1 改善爬虫网络利用率的解决方案

网络爬虫的利用率是当下舆情监测工作的重要限制因素,高效的爬虫利用能够更为便捷地获得全面而准确的信息。

为了准确掌握爬虫工作的效率,我们在爬虫中加入测速的方法,对爬虫抓取速度进行监测和工作特征数据进行分析。根据监测结果,在抓取速度较慢的阶段,采取相应措施进行修正,保证程序对网路资源的高效利用。这一解决方案的具体实现步骤如下:

(1)爬虫抓取速度监控。抓取速度是进行衡量信息获取水平的重要衡量因素,影响爬虫的网页抓取速度主要有两个因素,分别是抓取页面的大小和抓取这些页面所耗费的时间。因而,可以根据基本的换算关系定义网络爬虫抓取速度B:B=PT,式中:T为爬虫进行抓取的时间间隔;P代表该时间间隔内抓取页面的大小。

(2)爬行策略更改。40%正常水平的抓取速度是十分低效的,这时必须采取相应的措施进行解决。常见的措施主要包括:减少爬虫的线程数;暂停当前爬虫的运行,选择适当的时间继续爬行;更换爬行网站。

3.2 改善爬虫主题覆盖率的解决方案

当前的社会热点层出不穷,具有一定的突然性,同时在人们的讨论和交流中会进一步发酵,产生的信息量很大。为了保证网络舆情监测工作的顺利进行,就要求爬虫程序具有较高的抓取的覆盖率。另外,在进行网页内容的抓取过程中,爬虫程序需要执行网页与主题相关度的计算,会影响爬行速度。所以在进行网络爬虫抓取优化时,通常会使用在传统爬虫中加入主题更改模块的形式,即保证了抓取速度的同时也提高了主题覆盖率。

3.3 系统设计与测试

通过以上分析可知,提高爬虫系统工作效率的关键是在其内部添加测速模块和主体更改模块,由此可完成设计方案的优化。该爬虫在传统爬虫的基础上添加了爬虫测速模块和主题更改模块。

4 结束语

网络爬虫技术是当前舆情监测系统中使用的重要技术,在网页内容获取方面发挥了重要作用。限制这一技术进一步发挥作用的主要原因是爬虫程序的网络资源利用率的问题。同时,网络舆情监测检索突发性和大数据性特征,要求爬虫抓取信息的过程更为迅速,主体覆盖面也要更广。本文通过在传统爬虫中加入了爬虫测速监控模块和主题更改模块的形式,进行了抓取速度和覆盖率的监测实验,其结果表明,这一优化方案有效提高了爬虫程序的执行效率和信息获得的全面性,是一种值得认可的检索技术。

参考文献:

[1]王桂梅.主题网络爬虫关键技术研究[D].哈尔滨工业大学,2009.

舆情监测范文第5篇

【 关键词 】 电力行业;网络舆情监测;Web挖掘技术;搜索引擎技术;互联网公共危机

1 引言

在互联网高速发展和广泛应用的今天,网络新闻媒体已成为人们关注的一个重要平台。在反映事实和引导舆论方面,网络与传统新闻媒体有同样的功能,但是具有不同的特点。通过互联网,任何人都可以在微博、论坛、留言版或者自建站点上言论和观点,却往往不考虑言论的真实性以及带来的社会影响。

电力行业舆情监测系统的建立健全将有效地增强电力行业舆情信息监控能力,帮助电力部门及时处理面临的问题,从而有效提升电力企业的社会品牌、知名度和企业服务质量。舆情系统还将帮助电力企业良好形象,维护地方持续稳定,提高安全生产和员工工作效率,了解用户需求和体验。

2 系统设计

2.1 系统总体设计

2.1.1 系统功能设计

一个完整的电力行业舆情监测系统,主要包括以下三个部分,即舆情信息采集系统、舆情信息分析系统和舆情服务系统。

2.1.2 系统架构

系统采用B/S架构模式,只需要联网的浏览器,就能实现随时随地访问系统。

2.1.3 系统技术框架

系统采用J2EE的架构进行开发,采用成熟的基于MVC的Struts架构。Web Server接受客户的访问/交易请求,并建立起安全通道之后,根据不同的业务请求,由专门的Action Servlet进行处理,该Servlet会根据不同的请求调用相应EJB或Javabean对数据库进行访问,并调用组件处理相应的系统流程,最后根据配置文件定义的结果显示页面,将系统处理结果传输到用户端,从而实现了对系统请求的处理。

2.2 舆情采集系统设计

采集子系统主要包括两大模块,即全网采集和定向网站采集。两种采集模式既保证了风险信息采集的深度广度又保证了风险信息采集的及时性。风险采集系统每秒钟可实现100条数据挖掘和采集,并实现了24小时不间断无人值守的信息采集,具备自我恢复启动功能,通过向导式配置界面,可以快速添加网站采集规则,具备网页智能抽取功能,自动从复杂的网页内容中通过统计算法,智能抽取出标题、正文、日期、来源和作者等元数据属性。

2.3 舆情分析系统设计

分析引擎是本系统的关键组成部分。其主要作用是对采集系统采集的数据,自动进行智能分析。分析引擎的主要功能包括:自定分析舆情监测信息级别、自动生成热点、负面研判、自动分类、自动生成专题、转载计算、自动抽取要素和关键词、自动摘要、自动预警、自动生成统计图表等功能。

舆情分析系统可实现每10秒200条以上的分析效率,在不考虑网络拥堵的情况下,最高可实现每10秒500条数据的分析,完全满足庞大采集信息的及时分析,为信息的及时筛选提供了保证。经统计,舆情分析系统的无效信息过滤率为99.5%以上。

2.4 舆情服务系统设计

风险监控应用服务系统可风险事件监测、风险预警、风险追踪、风险分类管理、风险统计分析、定制专题报告、生成简报等,为及时捕捉风险信息提供了可靠的保障。

系统功能符合思想政治部及其他风险监测部门的工作需求,从风险信息监测、风险监控分析都有合理的组织,数据相关程度和准确率高。

3 关键技术及应用

前章阐述了电力行业舆情监测系统的设计方法,然而在实现过程中,还需要解决许多关键问题才能达到设计最终要求。本系统运用到的关键技术主要有Web挖掘技术和搜索引擎技术,下面将分别介绍这些技术以及在系统设计中的应用。

3.1 Web挖掘技术

Web挖掘是指从Web上抽取数据的一种方式,它利用数据挖掘技术从非结构化的文本中抽取有用信息,涉及Web、数据挖掘、自然语言智能处理、人工智能、统计学、信息学等多个领域,是一项综合技术。下面简单介绍系统中应用的几种Web挖掘技术。

文本特征表示:即以一定的特征项来代表文档信息,从而实现对非结构化的文本处理。

结构分析:建立文本的逻辑结构,如文本主题、层次和段落,从而更好地理解文本的主题思想。

文本摘要:根据文本特征提取和结构分析,选择权值较大的句子,抽取文本关键信息,对文档内容进行概括,最终生成文本摘要。

3.2 搜索引擎技术

搜索引擎是网络信息检索的最常用工具,它将网络信息资源分门别类组织起来,通过搜索网址的方式来实现信息检索。按检索机制可分为全文搜索引擎、目录式搜索引擎和元搜索引擎。

3.2.1全文搜索引擎

从互联网网站提取信息并存入数据库,检索与用户查询条件匹配的相关记录,然后将结果返回给用户。这种搜索引擎的优点是检索信息全面、直接方便;缺点是信息量繁多、杂乱。

3.2.2目录式搜索引擎

通过用户浏览层次类型目录来寻找所需信息,通常表现为网络链接。其优点是使用户清晰方便地查找到某一大类信息;缺点是搜索范围相对较小,可能遗漏某些重要的信息源。

3.2.3全网搜索引擎

同时在其他多个引擎上进行搜索,没有单独的数据库,通过自定义界面查询其他独立的搜索引擎。其优点是快捷,覆盖面广;缺点是高级检索功能不完善,不能对检索结果进行处理。

4 系统应用

在实际研究过程中,舆情监测系统主要针对文本信息进行抓取、分析和应用。然而互联网信息还有相当一部分存在于多媒体信息中,如视频、声音、图片。如何从多媒体中获取关键信息,这是未来网络舆情监测系统的一个发展方向。目前多媒体信息通常也附带有文字描述,因此绝大部分的舆情信息还是能被监测到,但是出于发展和科技进度的要求,对多媒体信息的识别和关键信息抓取及应用,还需要深入研究。

5 结束语

本文阐述了利用Web挖掘技术、搜索引擎技术进行基于关键词的电力行业网络舆情监测系统的设计过程与实现,通过实现对互联网资源进行全网监控、定向采集和智能分析,及时、准确地发现负面、最新网络信息,快速获知网络信息来源并建立相应预警机制,有效提高了舆情监管效率,加强网络舆论监管与正确引导、维护社会和谐稳定、树立良好的企业形象有着非常重要的意义。

参考文献

[1] 江黎黎.网络舆情突发事件的处置机制研究[J].杭州电子科技大学学报(社会科学版).2010(01).

[2] 梁伟贤.网络搜索引擎发展现状的探讨[A].2007中国科协年会——通信与信息发展高层论坛论文集[C].2007.

[3] 刘向辉,尚振宏,胡建华.新一代Web搜索引擎中数据的抽取[J].昆明理工大学学报.2000(03).

[4] 吕月娥,李信利.基于信息类别的元搜索引擎设计[J]. 微计算机信息.2007(21).

[5] 赵晓静.Web文本挖掘综述[D].电脑学习,2008(5).

[6] 郑逢斌.关于计算机理解自然查询语言的研究[D].西南交通大学,2004.

[7] 孟春艳.用于文本分类和文本聚类的特征抽取方法的研究[J].微计算机信息,2009(3).

[8] 胡学钢,董学春,谢飞.基于词向量空间模型的中文文本分类方法[J].合肥工业大学学报(自然科学版),2007(10).

[9] 贾菲,刘威.基于Android平台恶意代码逆向分析技术的研究[J].信息网络安全,2012,(04):61-63.

[10] 吴小毛.基于点对点即时信息交换安全通信协议模型研究[J].信息网络安全,2012,(04):72-74.