舆情监测系统
舆情监测系统范文第1篇
【关键词】网络舆情监测 报警系统
1 概述
随着互联网信息的不断发展，越来越多的舆论信息主要以互联网为载体进行和传播，由于信息量大，来源广泛，因此人工很难在海量信息中获取所需的舆情信息。为了更好的把握舆情走势和获取最新的、有价值的舆情信息，诞生了网络舆情监测系统。
网络舆情监测系统可以实时监测互联网上舆情信息，并根据用户特定需求持续关注。可通过对互联网上舆情信息进行抓取，根据关键词进行分类、判断正负面等分析和处理，以方便了解、把握和分类查看、监测和预警舆情走势及对相关舆论情况进行处理等。能够处理涵盖传统媒体和新兴媒体等绝大多数范围的网络舆情信息，具有抓取范围广泛、处理及时、分析准确度高的特点。
2 舆情信息预警
一般的，舆情监测系统的预警功能大多采用的是邮件预警，向预警接收人发送相关预警邮件进行预警提醒。随着对舆情信息的预警提醒要求不断提升，仅有的邮件预警已经不能完全满足用户的需求，因此根据实际工作需要，需要对舆情系统预警功能进行升级改造，扩展舆情系统的预警方式，以便针对舆情信息的尽早做出判断，并做好应对措施。
根据工作需要，舆情监测系统增加了邮件实时预警、系统内弹窗预警、手机客户端预警等功能，同时，系统还支持通过设备向手机发送预警短信，其中系统内弹窗预警和手机客户端预警可播放声音提醒，另外，系统还增加了客户端外置声光报警设备预警。
3 报警系统技术实现
3.1 手机客户端
手机客户端在满足直接与原系统对接的前提下，可提供用户关注的重要舆情、预警信息的获取和推送。在安全验证方面，手机客户端使用用户身份鉴别，需要使用用户名和密码登录，保证了信息的安全性。在手机客户端上可以接收原系统实时的预警信息，实现手机弹窗和声音提醒，同时还能显示最新的系统信息，支持显示舆情信息的标题、作者、日期、正文和来源网站名称等。手机客户端还支持区分正负面网络舆情信息，正面和负面信息的标题使用不同的颜色表示。此外当客户端接收到新的预警信息的时候还可以设置声音提醒，方便预警接收人员及时查看和处理。
相关技术的关键代码如下：
updateBusinessClassifyBasePoint： function （typeId， maxvalue） {
$.getp（ServerAddress + '/updateBusinessClassifyBasePoint.action'， {
typeId： typeId， maxvalue： maxvalue
}， 5000， function （o） {
if （！o['error']） {
//获取推送新消息
$.Push（）.getNewPushMsgCount（）；
}
else {
do_alert（'连接超时'， '提示'）；
}
}， false）；
}，
updatePushMessageStatus： function （docId， elem） {
$.getp（ServerAddress + '/pushAction！updatePushMessageStatus.action'， {
docId： docId
}， 5000， function （o） {
if （！o['error']） {
if （o == 200 &&elem ！= null） {
$（elem）.removeClass（"on"）；
}
}
}， false）；
}，
savePushMessage： function （hash， receiverId， receiverName） {
$.getp（ServerAddress + '/pushAction！savePushMessage.action'， {
urlmd5： hash，receiverId： receiverId， receiverName： receiverName
}， 5000， function （o） {
if （！o['error']） {
if （o.saveStates == "200"） {
do_alert（'推送成功'， '提示'）；
}
else {
do_alert（'推送失败'， '提示'）；
}
}
}）；
}，
3.2 短信实时预警
在原舆情监测系统基础上新增实时短信预警功能，可支持对接短信设备（短信设备由供应商提供），支持群发短信功能，同时对于短信接收的人数不设数量上限，这样可以方便向多人发送预警信息。预警短信的内容主要包含信息标题和摘要，方便使用人员在最快的时间内接收到最新的网络舆情信息。
相关技术的关键代码如下：
public class SendMessage {
private static final Logger logger = LoggerFactory.getLogger（SendMessage.class）；
public static void main（String[] args） {
SendMessagesm = new SendMessage（）；
sm.sendMessage（""， "这是来自客户端的一个测试短信"）；
}
public void sendMessage（String phone， String message） {
Service srv = null；
OutboundMessagemsg = null；
OutboundNotificationoutboundNotification = new OutboundNotification（）；
srv = new Service（）；
SerialModemGateway gateway = new SerialModemGateway（"1"， "COM4"， 115200， "wavecom"， "17254"）；//115200是波特率，一般为9600。可以通过超级终端测试出来
gateway.setInbound（true）；
gateway.setOutbound（true）；
gateway.setSimPin（"0000"）；
gateway.setOutboundNotification（outboundNotification）；
srv.addGateway（gateway）；
try {
srv.startService（）；
logger.info（"Modem Information："）；
logger.info（"Manufacturer： " + gateway.getManufacturer（））；
logger.info（"Model： " + gateway.getModel（））；
logger.info（"Serial No： " + gateway.getSerialNo（））；
logger.info（"SIM IMSI： " + gateway.getImsi（））；
logger.info（"Signal Level： " + gateway.getSignalLevel（） + "%"）；
logger.info（"Battery Level： " + gateway.getBatteryLevel（） + "%"）；
msg = new OutboundMessage（phone， message）；
msg.setEncoding（MessageEncodings.ENCUCS2）；
srv.sendMessage（msg）；
logger.info（"发送["+phone+"-"+message+"] 成功"）；
} catch （Exception e）{
logger.error（"发送["+phone+"-"+message+"]"， e）；
} finally {
try {
srv.stopService（）；
} catch （Exception e） {
logger.error（""， e）；
} finally {
srv = null；
}
}
}
}
3.3 PC客户端
PC客户端与原系统可以完全融合，提供展示系统重要舆情的功能，同时能够及时获取推送的预警信息。PC客户端可接收原系统实时预警信息，实现声音提醒。PC客户端接收到原系统实时预警信息后具备弹窗提醒功能（类似QQ新消息弹窗模式）。同时PC客户端还可以显示最新系统信息，支持显示信息标题，作者，日期，正文，来源网站名称等信息；PC客户端还支持区分正负面信息，对于正面和负面信息的标题由不同的颜色显示，可以较明显的区别。另外，在PC客户端中也具备设置提示声音的功能，当PC客户端接收到预警信息后，可以设置声音提醒，方便查看和处理。
相关技术的关键代码如下：
loadPushMessage： function （message， appendPosition） {
vars_readmode = $.localStorage.getItem（'readmode'）；
if （！s_readmode） {
s_readmode = "haspic"；
}
varreadclass = ""；
if （message.isRead == "未读"） {
readclass = "on"；
}
message.content=message.content.length> 50？ message.content.substring（0， 50） ： message.content；
var $img = ''；
if （！（message.imageurl == "" || s_readmode == 'nopic'）） {
$img = ''；}
var $li = $（'' + $img + '' + message.title + '（' + message.stcount + '）
' + message.content + '
For i = 1 To 16
main_form.Picture1（i）.BackColor = RGB（255， 255， 0）
main_form.Label2（i）.Caption = "状态未知"
Next
main_form.openall.Enabled = True
main_form.closeall.Enabled = True
main_form.Timer1.Enabled = True
main_form.chuankou_num.Enabled = False
main_form.open_comm.Caption = "关闭串口"
End Sub
Private Sub close_state（）
Dim i As Integer
For i = 1 To 16
main_form.Picture1（i）.BackColor = &H80000011
main_form.Label2（i）.Caption = "状态未知"
Next
main_form.openall.Enabled = False
main_form.closeall.Enabled = False
main_form.Timer1.Enabled = False
main_form.chuankou_num.Enabled = True
main_form.open_comm.Caption = "打开串口"
End Sub
通过对以上几个形式的报警功能扩展升级，升级改造后的系统能够从多个角度对系统抓取的预警信息以最快的、最明显的方式通知、展示出来，方便相关值班工作人员在最短时间内了解和把握舆情信息，及时处置。
4 结语
随着舆情监测系统应用的深入，所关注各类热点也越来越多，网络舆情监测系统会帮助采集互联网海量信息，根据实际需求，加以汇总、分析、整理后，为用户决策提供更大支持。
舆情监测系统范文第2篇
【 关键词 】 Solr平台；舆情；监测系统
1 引言
近年来，全国各地环境污染事件频繁发生，当这些污染事件发生时，民众会在很短时间内通过微博、论坛等网络平台相关消息、描述事件发生状况、评论政府应对措施与各项反应，需要注意的是，这些舆情信息在网络上的传播，会对普通民众的群体心理造成重大影响，如果处理不当还会对环境污染防治工作带来阻力，甚至发生重大公共安全。因此，需要设计并实现面向环境污染舆情的网络舆情话题监测技术，以实现对环保类舆情信息的及时发现，为政务信息公开和网络舆论回应提供技术支持。
环保类舆情话题主要是民众对身边生活环境问题的描述、建议、举报和控诉等的话题，比如工厂偷排污水、工地夜间施工、空气污染严重等。这类话题可由相关关键词的与或关系组合予以监测，例如水污染的话题可以采用“废水、污水、黑水”等关键词匹配。但在实际实现时，每类环保类话题的关键词数量都较多，关键词之间的与或关系描述比较复杂，采用传统的数据库结合文本关键词匹配的技术会遇到处理速度慢、与或等复杂逻辑匹配实现难度大等难题。
针对这些问题，本文提出采用Solr平台设计并实现环境污染网络舆情监测系统。Solr是由Apache基金会设计开发的基于Lucene的文本检索平台，利用Solr的索引和检索功能够快速查找文本，并可实现较为复杂的查询逻辑。通过实际数据的实验验证，本文所述技术具有执行速度快、复杂匹配逻辑实现难度小等优点。
2 Solr平台简介
2.1 Solr概述
Solr是一个基于Lucene的企业级全文搜索平台，它支持层面搜索、高亮显示和多种格式数据输出等功能。2006 年，Apache Software Foundation 在Lucene项目的支持下设计实现了Solr平台，并使Solr成为Apache的孵化器项目。在整个项目孵化期间，Solr 稳步地积累各种特性并吸引了一个稳定的用户群体、贡献者和提交人，并于2007年1月正式成为Apache的子项目。
Solr具备高效灵活的缓存查询、强大的全文检索、垂直搜索、相似文献查找、配置灵活、支持多种客户端语言、索引复制、高亮显示搜索结果、日志记录、可扩展的插件体系等功能。
2.2 Solr体系架构
Solr作为一个完整的全文检索平台，具有三层体系架构。
1） 底层是全文检索工具Lucene，主要为文件建立索引、提供文本分析接口和实现高效查询。此外，底层的索引复制模块是一个独立的模块，主要用于支持分布式的索引和检索。
2） 中间层是Solr的核心层，主要包括索引处理部件和配置文件。最主要的配置文件是Solrconfig.xml和Schema.xml。Solrconfig.xml从整体上对系统进行了配置，例如索引的存放路径、字段的最大长度、写锁的超时时间、锁类型、是否压缩索引、内存索引缓冲区大小、合并因子、删除策略、自动提交策略、缓存设置等。Schema.xml主要是对索引的配置，例如分词器、字段名称、索引方法、存储方式、分词方式、唯一标识字段等。索引处理部件是在系统主动或被动的接受特定数据，按照配置文件转化成索引后用来进行实际操作的部件，例如，进行搜索、相似文献查找、拼写检查、分面检索等。
3） 上层是HTTP请求接受、处理和请求结果返回层。HTTP请求处理器根据接受到的不同请求，确定要使用的SolrRequestHandler，然后通过Solr核心层处理请求，并以XML、JSON等数据格式返回请求结果。
3 环保类舆情话题监测系统主要模块
本文所实现的环保类舆情话题监测系统的主要模块包括三个部分，分别是中文分词、创建索引和话题监测。
3.1 中文分词
中文自动分词是建立索引库的前提。中文文本中词与词之间没有天然的分隔符，这就要求在对中文文本进行分析前，需要先将整句切割成小的词汇单元，才能将文本划分为特征项并添加进索引库。在全文检索系统中，中文分词系统的速度直接影响到系统建立索引和检索文档的效率，所以需要从众多可用的分词工具包中选择符合本系统需求的中文分词系统。
目前常用的分词工具包有StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、ICTCLAS和IKAnalyzer，其中IKAnalyzer的分词方式为正向粗粒度词典匹配或正向细粒度词典匹配，由使用者根据需要指定，当遇到未被词典收录的词语时则使用二元分词方式切分。IKAnalyzer的自定义词典功能比较强大，既可以通过词典文件预先批量添加词语，也可以通过调用API的方式实时添加；同时，IKAnalyzer的分词速度和分词准确率也比较理想，可以满足本系统开发的需求。通过对分词效果、分词速度、词典的扩展性、开发难度等方面进行综合考虑，最终选择IKAnalyzer作为本系统的分词器。
3.2 创建文本索引
本系统是通过Python脚本语言来实现Solr索引创建的。首先连接Solr，然后用Solr的Add命令从数据库里将上一次索引时间之后所有新增加的舆情数据添加进Solr。接着执行Commit命令以提交任务。那么，Solr就会自动完成对新提交的文本数据创建索引。
3.3 话题监测
索引建立之后可以根据每类话题关键词的逻辑匹配规则在Solr中进行话题监测处理。
在话题监测前，首先判断这个话题是否已经基于关键词查询过，如果查询过，则接着在上次查询时间之后新增的索引文本上查询，否则查询所有文本。
在话题查询时，根据Solr的查询命令并结合实际需求构造一个查询条件，如按关键词和索引时间范围构造的查询条件为：query = "（%s） AND index_time：[%d TO *]" % （keywords， secs），然后根据该查询条件实现Solr上相关话题文本监测。
4 实验结果与分析
4.1 评价指标
实验结果评价指标为准确率（Precision）、召回率（Recall）和F1值。准确率指标代表的是识别准确性，召回率代表的是方法判断结果的查全率。理想的情况是准确率和召回率都很高，但在实际情况中，两个指标很难同时被提高，提高准确率往往以降低召回率为代价，而提高召回率往往也要牺牲准确率，因此设计方法时往往根据实际需要重点关注其中一项指标。在本系统中，环保类话题识别与监测的主要作用是找到与人工设置的话题关键词相匹配的文本，所以本系统在保证一定召回率的前提下更强调准确率指标。
4.2 实验分析
通过人工方式设置了3个话题类型，实验数据集为从网络舆情源数据中随机获取的文本20000篇，其中包含3类环保类舆情话题文本共3272篇，作为背景噪声的无关文本16728篇。话题的相关情况如表1所示，采用本文所述技术的实验结果如表2所示，在DELL R420服务器上执行话题监测处理时间仅为0.27秒。
实验结果表明，基于Solr平台的环境污染舆情话题监测系统能够比较有效的发现网络舆情数据源中与设定话题相关的发帖文本。需要注意的是话题识别与监测方法的效果受话题关键词的影响比较大，所以关键词的设置既要求准确又要求全面，根据环保舆情监控的地域因素，还要考虑当地人对某件事物的俗称。
5 结束语
本文通过研究建立基于Solr平台的环境污染舆情话题监测系统，认为建立中文分词、创建索引和话题监测三个主要模块能够比较有效的发现网络舆情数据源中与设定话题相关的发帖文本，实验结果表明本文所述系统可有效满足环保相关部门对环境污染网络舆情话题监测的需求。
参考文献
[1] 黄翼彪.实现Lucene接口的中文分词器的比较研究[J].科技信息，2012，（12）：246-247.
[2] 姚晓娜，祝忠明.基于分面搜索引擎Solr的机构知识库访问统计[J].中国科学院国家科学图书馆兰州分馆，2011，209（8）：37-40.
[3] Apache Solr官网.http：///solr/.
[4] 薛峰，周亚东，高峰等.一种突发性热点话题在线发现与跟踪方法[M].西安交通大学学报，2011，45（12）：64-69.
[5] MOHD M，CRESTANI F，RUTHVEN I.Design of an interface for interactive topic detection and tracking[C]//Flexible Query Answering Systems 8th International Conference on.Berlin，German：Springer，2009：227-238.
舆情监测系统范文第3篇
工作中存在的不足网络舆情监测工作是指网络信息工作的部门或人员在特定时期或者在特定的事件中对公众在互联网上发表的言论和意见进行监视、收集、分析、整理及预测的行为，这些言论被称为网络舆情。
当前的网络舆情监测工作平台主要是基于信息采集、整合技术和智能处理技术，通过对互联网海量信息的自动抓取、自动分类聚类、主题检测、专题聚焦，实现对用户的网络舆情监测，并由相关部门形成舆情工作报告、舆情信息简报等，为舆论引导提供可靠的分析依据。
进入大数据时代，网络舆论呈现的新特点，促使网络舆情监测工作暴露出诸多不足之处，这为网络舆情监测工作带来了诸多挑战。
网络舆论信息格局发生变化，舆情分析质量亟待提高。据人民网权威的《2016年中国互联网舆情分析报告》显示，在2016年，伴随着移动互联网应用不断向社会各层面渗透，网络舆论的格局发生了很大变化，如网民结构与社会人口结构趋同，网民产生代际更新导致网络流行议题和文化热点发生转换，微博、微信平台化，专业自媒体步入兴盛等。在这样的变局下，网络舆情监测工作面临着新的挑战。然而，有些部门的舆情信息收集工作仍然停留在报刊、门户网站、BBS、微博等开源信息的收集阶段，并未将新闻客户端、微信、直播等平台打通，难以保证舆情信息分析的全面性以及舆情热度指标的准确性。《2016年中国互联网舆情分析报告》还对近五年来参与当年最具网络关注度的20个舆情热点事件讨论的320万微博用户样本进行了分析，发现关注新闻事件和聚焦热点话题的网民发生了代际交替，在性别方面，女性的比例明显上升；在地域上，三、四线城市用户增长迅猛。受众层面发生的这些变化，也将在舆情监测工作中体现出来。然而在目前的舆情监测工作中，相关信息部门的舆情信息报送在内容上只是就事论事、停留在现象层面，对受众的成分、热点事件的社会背景以及事件背后所反映出来的社会问题没有进行细致深入的研究分析；在形式上，网络舆情监测工作的报送还停留在工作动态报告或者事件日志等形式的报送上。这样就造成了网络舆情信息的价值作用降低、服务能力减弱的问题。
热点事件话语体系不可控，舆情预警能力亟待增强。纵观近年来发生的热点公共突发事件，可以发现，在以大数据为基础的社交平台上，公众的话语体系呈现出了一些全新特征，如舆论主体的匿名性、参与渠道的多元化、生成议题的自发性、交流观点的无界性、汇集意见的实时性、发展趋势的不确定性等。这些特征与舆论话语体系在传统媒体的呈现完全不同，网络舆论热点事件话语体系的不可控性大大增强。
在社交媒体平台上，自媒体呈现出来的话语体系最为庞杂。许多舆情信息不仅包含结构化数据，还涉及大量非结构化数据，若对其准确性、真实性逐一核查，既耗费人力又耗费时间。就内容而言，较多负面、虚假舆情具有较强的隐蔽性，单纯以关键词或主题词进行搜索容易产生误判、遗漏。话语体系的不可控性增加了舆情监测工作的难度，这要求工作人员必须具备过硬的专业敏感性以及较强的网络操作技能。但是目前大多数舆情监测工作部门的信息工作人员缺乏专业化的训练，舆情信息工作水平参差不齐。就舆情监测平台系统来说，对于舆情信息的跟踪分析灵敏度较低，在有些热点事件的处理上没有按照公共突发事件的分类标准进行准确的分级，从而导致网络舆情信息的分析判断力体现不出其应有的情报价值，预警能力也随之削弱。
舆情监测的技术体系落后，人机不协调问题亟待解决。网络舆论的实时性及其发展的不确定性要求网络舆情监测必须迅速、及时，但很多单位部门的舆情监测平台的方法技术体系滞后，部分单位采用了网络监控系统、有害信息过滤系统等方式进行网络舆情监测，而有些单位为了节省舆情监测设备的成本，甚至将网络舆情监测工作依托于人工网页搜索及浏览的“人工盯梢”方式上，这成为监测工作的一大阻碍，监测工作出现疏忽错判也在所难免。排除资金、人力等客观因素，现阶段的网络舆情监测工作中技术方法体系的不足主要归因于“人机不协调”。机器与人工的协同分工模式不成熟、机器的辅助力量不够，导致人工智能技术在预测监测体系中分析情感、预测走势、检查效果等方面应用还稍显粗浅、机械，而在需要人工进行的高级维度分析、提出应对策略等层面，机器的应用又显得粗糙以及同质化。
人工智能为网络舆情监测带来的三大变革
网络舆情监测要适应大数据时代人工智能的要求，就必须顺势而为，积极进行变革，主要包括网络舆情监测技术体系的变革、网络舆情监测研究范式的变革以及网络舆情监测管理思维的变革三个方面。
网络舆情监测技术体系的变革。将人工智能技术应用于网络舆情是为了更好地对舆情进行分析研判，通过直观、简明的方式描述网络舆情信息的产生，进一步推导信息传播主体的态度倾向性、情绪感染性以及初衷、意图等，从而预测网络舆情信息的发展趋势。
如果说在“小数据”环境下，网络舆情监测工作还可以依托于“人工盯梢”的方式来完成，那么在“大数据”环境下，当数据的量级达到了EB甚至ZB级别后，以人工监测来把握舆情脉络已成为不可能完成的任务。而那些隐含在网络舆情信息中的观点、态度及情绪的表达，更难以从泛滥成灾的信息碎片中被真正发掘出来。加之海量信息的不共享所带来的“信息盲区”，更使得舆情信息分析不够严谨，易偏离实际，而这些问题都需要依托搭建智能化的网络舆情监管平台来解决。在平台上可以通过三种人工智能技术实现数据分析与人工智能研判相结合，再借助如眼动仪、脑电仪等受众检验仪器对网络舆情信息进行综合化分析。三种主要的人工智能技术主要包括：一是Web挖掘技术，该技术把互联网与数据挖掘技术结合起来，对网络上结构化数据如文字言论，以及非结构化的数据如视音频、图像等信息进行采集，完成信息前期处理的第一步；二是语义识别技术，该技术是利用采集到的信息，通过对语句中的关键词进行词义推断处理以及句子语法结构的分析，从而将复杂信息简单化，这是对采集的信息数据做进一步识别推断的过程；三是TFDF信息聚类技术，该技术主要提升数据信息的分析和分类速度，使网络舆情监测工作的处理更加及时，反应更加灵敏，提高采取措施的时效性。
人工智能技术的介入将有利于对信息进行挖掘、采集、分类、整理，从而找寻出最核心的关键性数据。在此基础上，还可以运用人工神经网络预测模型，对网络舆情的性质、发展趋势进行正确描述，并提出相应的对策。
网络舆情监测研究范式的变革。人工智能和大数据对网络舆情监测工作及其研究产生了颇为深刻的影响，舆情监测的研究范式从多角度发生了转向。
第一，舆情监测工作视角的转向：从单一化到多元化。在社交媒体平台上，受众的角色首先发生了转向，由信息的被动接收者转变为信息的参与者和传播者。这一转向给网络舆情监测工作带来了新的挑战，当受众是单纯的信息接收方时，网络信息的可控性强，舆情监测工作形式单一，把关相对容易。而受众角色发生变化以后，网络信息传播的不可控性大大增加，信息传播速度加快，信息传播呈现多元化特征，把关难度增加，网络舆情监测工作也从单一转向多元化，还需要对信息进行疏导、研判处理。
第二，研究视角的转向：从内容研究转向“内容+关系”研究。传统的网络舆情信息研究最重视的是受众借助网络进行的话语表达，其研究视角主要集中在内容层面。随着人工智能技术的介入，这一单向视角将发生转变，潜藏在内容层面背后的网络受众心理、行为、动机、诉求等多方面因素都将被关注到。借助人工智能技术及大数据分析技术，网络舆情信息的研究视角将透过内容层面深入到关系层面，转向对网络受众社会心理描绘、社会关系呈现、社会话语表达等多维度的研究。
第三，研究重点的转向：由舆情监测转向舆情预测。当前的网络舆情监测工作主要通过对当下网络舆情的动态信息进行随机采样来收集、整理、分析，更多的是关注已经发生的事件在过去及当下的动向，对未来的发展预测难以兼顾。而借助人工神经网络预测模型，通过自然语言处理、模式识别及机器学习等人工智能技术，可以对网络舆情的性质、发展趋势进行正确描述，再结合大数据分析处理整群数据来实现预测功能。比如，著名的搜索引擎公司谷歌通过关注用户搜索中的“流感”关键词来预测实际流感发生的时间，往往可以提前两三个周对流感的爆发进行预报及预防。
网络舆情监测管理思维的变革。在以人工智能技术为支撑的网络舆情监测平台出现之前，相关舆情监测部门的管理者往往由一人或几人的小团队组成，在监测信息数据量级不大的情况下，这种小作坊式单打独斗、面面俱到的舆情监控管理思维可以基本满足需求。但是随着人工智能技术的发展及大数据时代的到来，这种小作坊式的舆情监测体系面临瓦解。当前，商业化运营的软件监测团队多达几百家，这些监测软件服务商通过开发相应的舆情监测软件为政府部门、企业主体以及科研院所提供服务，进行简单的舆情信息数据采集及分类处理工作。在数据开源的情况下，这些软件服务商的竞争逐渐由粗放型、低层次化向数据处理的优化、人机互动、机器算法的精进等层面转变。
在以上变化的基础上，舆情监测的管理思维也必须转向，组建一支人员分工明确、高度聚合集约的舆情分析团队势在必行。舆情管理的思维变革依托于人工智能监控系统改变团队的组织结构及管理方式，通过智能化的舆情监测系统代替低效的人工操作，其专业性要求颇高，而最佳处理模式就是专业化团队加人工智能技术。按照这样的管理思维，未来舆情监测团队的分工将更加明确，行业内部集约聚合程度将进一步提高，行业有机化程度也将逐步增强。
舆情监测系统范文第4篇
关键词：数据挖掘；网络舆情；监测引导；决策平台
中图分类号：TP393文献标识码：A文章编号：1009-3044(2012)01-0001-02
互联网的应用扩展了人们的生活空间，也改变着人们的生活和表达方式，随着信息技术的发展,作为“第四媒体”的互联网已经成为人们、交换、获取信息的重要渠道。网络本身具有虚拟性、匿名性的特点，已经成为人们情绪表达、宣泄及交流的重要平台,其中社会政治态度的表现就是网络舆情。网络也自然而然的成为了政治问题和社会问题的集散地，更加为政府了解民情，政府治国理政提供了重要平台。
在网络大量舆情数据的背后隐藏了很多具有决策意义的信息，那么在飞涨的信息数据中，有效利用数据宝藏，是近年信息技术领域研究热点之一。在数据生产、传输能力远远大于数据分析能力的今天，人们希望能够提供更高层次的数据分析功能，自动和智能地将待处理的数据转化为有用的信息和知识。面对这一严峻挑战，数据挖掘和知识发现(Data Mining and Knowledge Discovery，简称DMKD)技术应运而生，并蓬勃发展起来。
1网络舆情
1.1网络舆情概念
网络舆情是指通过互联网或者其他网络手段传播出的广大公众对于现实生活中存在的某些焦点、热点问题所持的有较强影响力和倾向性的言论及观点。开通微博、建立专区留言板，新闻跟帖，BBS论坛，都已经成为了群众与组织展开交流的重要手段，这些网络手段的确起到了一定的交流作用。
网络自身具有虚拟性、隐蔽性、随意性和渗透性等特点，广大用户都很乐意通过这些渠道参与到各种话题的讨论中去，尽管起到了一定的积极作用，然而一旦引导不利，产生一系列的负面的网络舆情就会严重的威胁到社会大环境的安全，甚至会对公共环境的发展起到消极作用。这就要求要加强对于网络舆情的及时监测和有效的引导，并且及时的关注网络舆情的负面危机。这对于维护社会安全发展，稳定民情民心有着重要的作用，对于促进国家的发展与进步更是有着重要的现实意义。
1.2舆情监测与引导
从当前网络舆情的传播速度来看，爆炸性消息3小时之内就能够迅速被各大论坛转载，6小时内就有可能已经出现在各大新闻网站的网页上，那么可想而知，24小时之后，关于新闻事件的追踪和跟帖就会使其成为热点事件，并且很有可能在网络上掀起舆论讨论的热潮。所以对于有关部门来说，能够在第一时间掌握哪些是热点舆情，哪些有可能在短时间内发展成热点舆论，哪些又会对社会安全造成影响是十分必要的。
舆情监测与引导系统就是在这样的背景下产生的，网络舆情监测与引导平台是针对在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对社会管理者产生和持有的社会政治态度于网络上表达出来意愿集合而进行的计算机监测的系统统称。通过这个系统，能够让我们有效的对网络舆情进行预警和应对。这个系统的产生在一定程度上解决了一些网络舆情带来的负面影响。
2数据挖掘
数据挖掘起源于从数据库中发现知识，它首次出现在1989年8月在底特律举行的第十一届国际联合人工智能学术会议上。在1996年出版的总结该领域进展的权威论文集《知识发现与数据进展》中，Fayyd，Piatetsky-Shapiro and Smyth给出了知识发现和数据挖掘的最新定义，将二者加以区分。
数据挖掘的定义为：数据挖掘是知识发现中通过特定的算法在可接受的计算效率限制内生成特定模式的一个步骤。数据挖掘 技术在技术上又有着这样的定义：从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据挖掘技术从一开始就是面向应用的。目前，在很多重要的领域，数据挖掘都可以发挥积极促进的作用，尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业应用领域。如果把我们所有需要的知识和想要得到的信息比作一个巨大的数据库的话，数据挖掘技术就是能让你在庞大的数据库中轻而易举的搜取自己需要的信息和知识的重要技术。对于如今数据库庞大的互联网来说产生的意义十分重大，对于广大用户来说更是必不可少的技术。对于现如今的网络舆情监测来说，数据挖掘技术更是作为基础作为了重要的技术支持，它对于网络监测系统的研制也有着千丝万缕的影响。
3网络舆情监测与引导平台
网络舆情监测与引导平台的设计可以分为五大功能模块，具体指：网络舆情采集模块、网络舆情存储模块、网络舆情分析模块、网络舆情检索模块和网络舆情模块，共同组成了网络舆情监测与引导平台。如图1网络舆情智能监测与引导平台设计框架所示。
舆情采集模块是网络舆情分析的重要基础保障。它是指利用搜索引擎完成的在各大网页网站中收集网页信息并建立起原始网页数据库的过程，然后将收集的信息和数据等统一的存储到网络存储系统。既而，网络舆情分析系统便会对存储的一些舆情进行分类、归纳、整理，这样就能够得出近一段时间内网络舆情的变化走向，之后便把分析归纳好的信息进行存储。最后，通过舆情分析系统分析以及检索系统的一系列检索，还有存储系统里的信息及数据都可以通过舆情报告系统发送和展示给各用户。这就是简单的舆情监测与引导平台的整个工作流程。
3.1舆情采集模块
互联网的信息量是十分庞大的，随着信息技术的不断发展和进步，网页的设计也开始越来越灵活，这就使得网页结构十分的复杂化，而且网页的更新速度使得内容更加动态化，以及一些网站对站内信息限制的技术手段造成网页内容不完整性，使得传统手工采集信息的方法非常低效率和高错误率。针对这一问题，舆情采集模块主流技术是自动采集，较为流行的采集工具可以分为六大类：Wrapper的专用高级语言、以HTML为中间件的工具、基于NLP(Natural language processing)的工具、包装器的归纳工具、基于模型的工具、基于本体的工具。这些工具首先需要专家参与，人工建立某领域的知识库，然后工具基于知识库去做抽取操作。
网络舆情信息主要是从以下几个方面来进行的挖掘：①新闻类信息中所包括的中央重大政策以及一系列改革措施的颁布、国内外重要新闻、与广大人民群众利益密切相关的政策等等由此所引发的舆情，要依靠一些主流媒体、新闻网站和权力部门的相应网站为主要挖掘渠道。②社会焦点事件以及突况，这些主要要以虚拟社区当中的热门版块和BBS跟帖为主要挖掘渠道。③对于一些小道消息、谣传以及各种议论的集中集散地，蕴含着较强的倾向性、指向性的舆情信息，主要是以个人网页或博客为主要挖掘渠道。
3.2舆情存储模块
提供对舆情数据的存储功能。包括全文数据、统计数据、日志操作等。
3.3舆情分析模块
网络舆情分析模块可以说是整个网络舆情监测与引导平台最为核心的功能，并且具有以下的特点：关联分析、热点识别能力、聚类分析、倾向性分析与统计、信息自动摘要功能。这些功能对于舆情分析工作的完成有着重要意义。
热点识别能力在当今互联网信息变化速度突飞猛进的今天，热点识别就已经成为了整个分析模块的总的前提条件，他能给出在一段时间内以信息出处权威度、评论的数量以及和跟帖密集度等作为参数，然后统计出一定时间段来的热点和重要舆情。
在数据挖掘技术中，关联规则算法为一种较为成熟的技术。关联规则算法的形式化描述如下所示：
设I={i1,i2,…,in}表示为全部项目的集合，也称I为项目集，项目集的元素ip={p=1,…,n}表示为每一个单独的项目，Tp={ t1,t2,…,tn }表示为全部事务的集合，即T表示成事务数据库，事物数据库的的事务表示成元素Tp={ p=1,…,n }，一些项目的集合组成单个事务。
采用关联规则实施数据挖掘的通常方法是：计算出支持度比提供的最小支持度阀值大的频繁项集，然后根据计算出的频繁项集，生成关联规则。对网络上繁杂的海量数据分析，需要找到相关舆情信息的内在关联规则，这样就能有效对舆情加以分析、检索和存储。
3.4舆情检索模块
检索模块可以将存储模块中的信息进行关于时间、地点、类型、网站等等有关信息进行检索，继而提供给用户。在分析模块中所提供的热点分析一般只是对已经产生的热点，或者是将要成为热点的次热点。而检索模块还可以让用户自定义关键词对采集到的信息进行自定义监控。
3.5舆情模块
根据网络舆情分析模块处理后的结果或网络舆情检索模块查询的结果生成报告，系统可通过短信、电话、网页浏览等各种手段 及时告知，提供决策支持。整合以上所有系统的工作结果，将热点度较高的舆情给广大用户和相关部门最终完成这一监测系统的最终使命。
4结束语
通过以上分析加之现在的社会现状，我们不难得出网络舆情智能监测与引导机制实施的紧迫性和必要性。智能监测系统的出台和应用不仅仅是改善了网络舆情存在的环境，更重要的是，为更多社会组织、企业、政府提供了更多可以信赖的，真正反映民情的正确的网络舆情。并且为更好的解决社会问题和社会矛盾提供了一系列的保障。为国家能够有一个健康安全的舆论环境提供了重要的基础，并且真正为民众与政府和各大社会组织提供了一个健康的沟通渠道，为我们的社会进步也是有着重要的影响的。尤其是作为政府，作为公共管理的主要部门，必须要时刻关注网络舆情，对于互联网中的海量信息进行系统监测，及时发现问题，解决问题，防微杜渐，积极处理，防止一些不必要的事情发生。
尽管，网络舆情监测系统出现时间还比较短，基于其的算法和方法还都很不完善，然而我们相信方便、快捷、智能、通用将是今后舆情监测系统发展的方向，关于网络舆情智能监测与引导机制的研究也将会更上一层楼。
参考文献：
[1]曹进松.政府网络传播[M].南京:江苏人民出版社,2010.
[2]叶皓百.正确应对网络事件[M].济南:山东教育出版社,2009.
[3]郭建永.基于文本聚类技术的主题发现[J].计算机工程与设计,2008(6).
[4]中国互联网信息中心.第25次中国互联网络发展状况调查统计报告[R].中国互联网信息中心,2010.
舆情监测系统范文第5篇
【关键词】网络舆情监测；食品安全管理；应用分析；实践性；重要性
近些年来随着食品安全问题逐渐获得重视和关注的同时，食品的安全监管体系和监管实施，也受到发展。本文中对2010年9月-2013年9月实施网络舆情监测食品安全管理的流程和实践情况进行分析，现将结果报告如下。
1 网络舆情监测工作的重要性
目前伴随电脑、手机等通讯工具的快速发展，网络应用和获取网络知识已经成为人们生活、工作和学习中必不可少的信息获取方式之一。各种知识和信息以网络的形式进行传播和宣传，已经成为一种趋势，并且具备一定的重要性。在我国提倡言论自由的环境下，更促进了网络对同一事物发生了不同的看法和观点。因不同的观点同网络的快速传播下，使信息成为网络舆论。网络舆论具有传播广泛、相互作用性强，在传播的同时能给相关部门和疾走造成巨大的压力和社会关注例。从某个角度上能够起到放大事实，提高相关事件的透明度；增加社会民众知情度的意义。从而迫使相关部门和机构，能够快速、有效、公正、公开的进行某一时间的处理和解决。网络舆情也就成为监督和监管食品安全相关部门和机构的特殊性方法。
人们在日常上网、工作、学习中通过网络知识，对食品加工制作和运输流通的相关机构和厂商进行有效的监督和随时对不法厂商进行广泛的曝光，或是督促对一些食品安全事件进行良好的处理和关注。
2 食品安全网络舆情体系的创建
我们先探讨一下食品安全网络舆情的相关概念。食品安全网络舆情，是指网络媒体和网民在一定的时空范围内，围绕食品安全事件所形成的公开或非公开的信念、态度、认知、意见和情绪等综合表现。食品安全网络舆情监测，是指专业人员结合人工和自动化两种方式对食品安全网络舆情的热点、趋势等进行有效搜集、跟踪、整理，向有关部门提出预警，并提供应对建议等。建立食品安全网络舆情自动化监测系统，其理论框架主要是识别食品安全关键词热度和敏感度，根据信息来源的权威度、反馈度、互动评论度等，识别新近热点；根据关键词密度和文本语义分析，识别敏感话题；对观点、态度和倾向性进行统计分析；分析食品安全网络舆情趋势走向，分级预警，获取事件全貌并预测发展走势[1]。
3 食品安全网络舆情监测的规模、等级和监测范围
在对食品安全网络舆情监管的情况一般分为两种类型，一类为常规性监管；另一类为重点监管。对食品安全事件较小，网络关注人较少，同时没有造成较为严重的社会影响和严重事件的情况，可进行常规性监管，随时掌握和了解事情的动态变化和相关处理情况。同时对恶意的诋毁和扰乱民众正确观点情况，进行及时有效的疏导，防止错误舆情影响相关部门和组织机构，造成重大影响和损失。对食品安全重大事件、突发性事件或是造成严重后果的情况，网络关注人较多，事件恶劣的情况，应进行重点关注，并且组织相关机构和部门进行处理，进行理性分析后，实施具有针对的应对措施，防止舆情进一步扩大，导致民众恐慌。
4 网络舆情的统计和分析
食品安全网络舆情的监测流程主要是舆情收集、筛选、跟踪、研判等几个阶段，方法上结合自动化和人工监测。舆情分析自动化技术中最关键的是搜索引擎技术，面对海量网络信息自动进行内容归类、汇总、倾向性判别、话题自动跟踪、生成摘要信息等文本识别技术，“其中基于关键词统计分析方法的技术相对比较成熟，但在其有效性方面还有很大的提高空间” [2]。
5 结语
针对于我国的食品安全网络舆情的监管情况较为复杂和多样，同时存在较大的困难，存在较多的不足，体系的建立还不够完善。部分网民的观点和知识水平，相对较低，对食品安全舆情的分辨和判断能力有限，不能更加客观的对待事件。还存在相关食品制作和运输流通、政府部门等对食品安全事件的掩盖真相、假承诺或是不办实事等情况导致网络舆情扩大化，和难于控制其发展和监管。因此在发生食品安全网络舆情的事件后，应督促食品安全监管部门和食品相关企业及时的同IT行业进行良好的沟通和交流，从多个角度和观点进行事件真实性的搜集、统计、分析。提高民众对食品安全事件的知情和正确关注。降低网民在不知情的情况下广泛传播失真报道和激怒民众，导致恶性事件发生[3]。
因此对于食品安全的网络舆情，应进行及时有效的监管和正确对待处理，增加网络舆情的引导能力。
参考文献：
[1] 贾孟飞.基层网络舆情监测工作的实践与思考[J]. 银行家，2 0 1 0，（12）：101-102.
