首页 > 文章中心 > 数据采集

数据采集范文精选

数据采集

数据采集范文第1篇

系统框架设计

林业资源监管通用数据采集系统采用C#语言、ArcEngine和开普互联智能表单平台进行设计开发。系统分为B/S架构的Web配置系统和C/S架构的桌面系统两部分,如图1所示。这种设计方式基于:1)B/S架构已成为林业业务系统的主流架构,借助配置系统以便将通用数据采集系统与业务系统进行集成;2)使桌面系统可以专注于数据采集,实现与业务流程、功能的松散耦合。Web配置系统包括数据交换以及桌面系统的配置管理功能模块,支持本地和远程配置方式。数据交换通过将事先制作完成的支撑数据提供给桌面系统,作为各业务数据采集系统运行的基础,并将采集完成的数据返回数据库,提供给其他业务系统使用。配置管理支持对采集数据、支撑数据以及桌面系统功能界面的配置,并将配置结果保存在XML配置文件中,作为桌面业务系统运行的基础。通过配置系统为桌面系统提供支撑数据并进行相关配置,就可以为不同业务定制数据采集系统。桌面系统包括通用功能元件、业务系统配置、动态数据的管理以及界面的生成4个功能模块。通用功能元件包含数据采集的一般功能。业务系统配置提供配置内容的读写功能。动态数据管理根据配置实现对不同业务支撑数据的访问、更新以及采集数据的导出。界面生成根据配置信息生成特定于业务的系统界面。桌面系统框架采用变种MVC模式(模型--视图--控制器),该模式采用数据驱动设计[9],使得视图、控制器和模型可以随业务而变。在数据层,空间数据与属性数据分表存储,空间数据表只存储与业务无关的图形信息,从而能以统一的形式访问、处理及显示空间数据,不受业务变化的影响。而与业务紧密相关的属性数据单独存储在属性表中,并将与属性数据相关的视图、控制器及模型的变化存储在用开普互联智能表单平台制作的表单文件、数据映射文件中,系统在运行时就可以基于表单文件、数据映射文件及配置文件动态地构建视图、控制器及模型,从而将业务数据的变化隔离在源代码之外,使源代码高度内聚,不会变异。由于两类数据的处理方式不同,数据间的完整性通过逻辑校验来保证。

关键技术及实现

林业资源监管通用数据采集系统采用的关键技术包括智能配置、界面自动生成和动态数据管理技术。

1智能配置技术

智能配置技术是指将与业务相关的变化信息存储在配置文件中,系统在运行时读取配置文件,根据其中的信息实现对不同业务数据采集功能的定制。当业务数据采集需求发生变化时,仅需通过改变配置信息就能满足需求,这样既增加了系统的灵活性,又能保持系统的稳定。数据采集系统通过配置系统实现智能配置,主要包括系统配置、采集数据配置两方面。(1)系统配置。系统配置包括支撑数据、用户功能界面配置两部分。支撑数据的配置内容包括数据版本号,采集人员的账户信息及该账户关联的业务名列表,支撑数据中各数据名称、类型、对数据操作的命令和命令状态列表。版本号为自然数值,作为数据是否需要更新的依据;业务名列表的形式为“Reforestation/造林,Harvesting/采伐”,前面是业务系统的英文名,后面是对应的中文名,之间用反斜杠隔开,指明账号可以使用的数据采集系统;数据名称为数据文件的名称,类型包括数据库、表和普通文件。命令指明了如何处理数据,包括覆盖、更新、添加、删除4种。命令状态包括已执行或未执行,决定系统是否执行命令。用户功能界面配置内容包括功能元件、逻辑验证规则和表单配置。功能元件和逻辑验证规则的配置目标可以是单个图层或整个系统。功能元件的状态包括可见、隐藏、可用与禁用,当不需要使用某项功能时,根据功能元件的名称将其状态设置为隐藏或禁用即可。逻辑验证规则的配置内容包括SQL语句及其描述,通过执行SQL语句进行验证;SQL语句的执行方式不随业务变化,规则的描述为界面上呈现给用户的信息,如地类检查。表单的配置目标是图层,包括图层名、表单文件名及其描述,通过将图层名和表单文件名配对存储,就能根据图层找到对应的表单进行属性数据的录入,描述为用户界面上呈现给用户的信息,如造林模式表。(2)数据配置。采集数据的配置包括需要导出的数据版本号、表名称、数据记录主键序列以及其他数据文件的名称。数据版本是自然数值,作为外界是否需要下载该数据的依据。系统根据数据名称和主键序列导出数据。

2功能界面自动生成

功能界面自动生成以功能元件为基础,通过建立配置文件完成用户界面的按需定制。(1)系统功能元件。系统是功能元件的集合,功能元件可能是单个功能或一类功能,如图形创建是单个功能,图形编辑是一类功能,在界面上表现为单个控件。本文使用功能元件名称、控件名称、功能状态及功能描述来表达功能元件。对于用户而言,只需配置功能名称及状态来控制功能界面。系统功能元件信息存储在XML文档中,该文档需要按照模板文件制作,配置系统解析该XML文档,并在界面上列举出功能元件列表供用户配置。(2)界面生成算法。数据采集系统中涉及界面变化的模块主要包括:1)空间编辑和拓扑校验界面。该界面因功能是否需要使用而变化。2)属性编辑界面。该界面随数据内容和结构而变化。3)逻辑校验界面。该界面随校验规则内容而变化。界面自动生成以功能元件及系统配置文件为基础,通过解析配置文件动态生成用户界面,生成流程如图2所示。3个界面的生成算法各有不同。空间编辑和拓扑校验界面的生成是根据配置对WindowsForm控件的可见性和可用性进行控制来实现的;属性编辑界面的生成是通过加载开普互联智能表单文件到WindowsForm窗体中来实现的,开普互联智能表单界面如图3所示;逻辑校验界面的生成是通过加载验证规则到WindowsForm窗体中的列表控件中来实现的。

3动态数据库管理

动态数据库是结构和数据都可以随需要而变化的数据库[10--11],在本文中是指整个数据库的改变。数据采集系统以单一业务配置为基础,每个采集人员配备独立的设备和采集系统,但在人力和设备资源有限的情况下,数据采集系统需要支持多个业务的数据采集或多个采集人员共用一套设备和系统。系统需要根据业务、人员职责调用不同的支撑数据。解决方案为:建立以采集人员账号名和业务名组合命名的文件夹,通过配置系统将不同的支撑数据放到对应的文件夹内。当用户登录系统时,系统依据账号列出可操作业务,采集人员从中选择业务名称,系统就可以将正确的支撑数据供给用户使用。

4数据交换

数据交换包括支撑数据的上传及采集数据的下载,使用配置系统完成,交换的数据放在该系统目录下。支撑数据的上传有2种情况:1)采集系统的定制。将所有支撑数据以添加命令上传,桌面系统运行时会判断是否存在数据,如果不存在数据,就会从配置系统目录拷贝数据到本系统目录,结合这些数据形成特定于业务的采集系统。2)部分支撑数据的变更。将部分支撑数据以添加、删除、更新3种命令之一上传,桌面系统运行时检查配置系统目录下的数据版本号,如果版本号小于配置系统目录下数据版本号,就按照配置的命令进行更改。数据采集完成并通过校验后,由桌面系统将数据导出并压缩,然后拷贝到配置系统目录。每导出一次数据都会累加版本号,系统用户根据版本号下载最新的采集数据。

数据采集范文第2篇

管理平台指标体系的内容应包括学校发展的各方面情况,必须真实准确。同时平台数据的填报要具有规范性,指标体系应从指标名称、指标概念、统计口径、数据来源等方面进行统一规范和要求,力求数据采集的科学化。再者数据平台采集中的部分数据具有时点要求,也就是数据的及时性,统计指标的填报应保证时间点,提供及时的统计报表,为相关决策提供准确及时的信息。

1.数据采集方法分类

按照数据平台的填写方式和时间要求,对平台采集中数据的关联要求进行分析。按照上述的要求,以2012年填报数据为例,将采集的数据分为以下几个大类:无条件;自动生成;一次性+及时更新;按年度;按会计年度;按学年;按学期;一次性;学年+更新;及时更新+条件。

2.平台数据采集关联分析

分别对10类数据采集时的关联度进行分析。“无条件”指的是系统初始化好的,各学校可以直接使用的功能模块,直接填报即可,与其他的数据关联性不强。“自动生成”数据,不需要填报,由其他数据自动产生逻辑数据,与学校整体数据有关,关联性非常强。例如2.1.3在校生人数则是由2.3.2专业列表在校生人数(二级学院)自动汇总而来,如果后者填报有误,那么前者不会准确,关联密切。“一次性+及时更新”数据是由初次导入数据加上及时更新的数据组成。对初次导入数据进行更新时需要考虑数据间的关联性。例如二级单位已经有专业、教职工信息等和二级单位相关联的数据,则此二级单位无法被删除。如需删除,需要对二级单位相关联的数据进行删除。再如新建一个专业后,直接删除,但是并未删除掉,这是因为系统自动为其建立了“专业招生状态”,此专业已被“专业招生状态”使用了,如真的需要删除此专业,则先点击“正在招生”链接,进入专业招生状态页面,将其建立的一条招生状态记录删除掉,再回到专业列表,便可删除刚新建的专业。所以及时更新时,一定要考虑到数据原有的关联系。“按年度”的数据,统计的时间段是年度,需要注意的是,年度要求有区别。以2012年上报数据为例,数据上报时间分别是2009年起、2011年起,数据填报从2009级起、2012~2013学年第一学期起,采集数据时需要关联不同年度的数据。“按会计年度”数据关联性相对较低,只采集上报年的会计年度的数据,考虑学校收入和支出之间的平衡。“按学年”、“按学期”、“学年+更新”数据,在采集数据时要充分考虑到统计时间的要求,还要考虑到数据间的关联。例如3.6国际合作采集的数据要以2.3.1专业基本信息为基础;4.2课程评价采集数据要以4.1课程安排数据为基础,课程状态有时不能更改,是因为一旦完成了课程评价,即将课程状态设置为“结束”,并保存了课程评价,则无法再将课程状态设置为“开课”。“一次性”数据是指一次性采集完成、不能更改、不需更新的数据。例如7.2.3高考情况,记录学生的高考成绩。这类数据采集之初关联系不强,但是作为其他数据的支撑,关联性就比较强。“及时更新+条件”数据,是指随时可以更新的数据,如师资培训情况、实践情况、学生毕业后的创业情况等,在采集这类数据时,也是先区分好统计的时间段,再填写各项内容,数据采集是没有关联数据的,采集后的数据对平台的第8大项报告的生成产生很大影响。

二、管理平台数据的共享性分析

管理平台数据的采集涉及到学校的各个方面、各个部门,如教学部门、财务部门、人事部门、资产部门等。通过管理平台所形成的数据具有共享性,如某实训室实训条件数据的采集,可以利用资产部门所建立的数据平台,抽取其中的关联数据,从而得到实训室的基本硬件资料,使得原不同平台间的数据不再单一不可复用,这就是利用数据平台实现信息共享的优势所在。通过这种方式,学校内的数据可以通过重用其他领域数据而获利,学校数据也可以促成其他领域没有的活动,并产生新的关联数据,使得数据成为一个成长着的有机体。管理平台关联数据采集的意义在于:一是各种基础信息由各基层单位通过审核生成,通过计算机网络平台的填报使各职能部门能及时掌握企业的运行状况,满足各职能部门需要;二是各职能部门能及时做出对比,及时分析研究解决问题的措施,把各种综合信息向学校领导、各职能部门及基层单位及时反馈,分别满足其管理决策、研究问题和解决问题的需要。为确保统计资料的系统性、完整性,应该在各部门的工作职责中明确相应的统计责任,要求其按统一确定的口径、范围及时间提供相应的统计资料及分析报告,最终将统计信息自基层通过计算机网络覆盖整个学校。

三、总结

数据采集范文第3篇

关键词:数据采集接口;分析;信息系统

数据采集系统是一个较为成熟的技术,被广泛应用于石油、化工、钢铁、制药等行业。国际较为知名的数据采集系统产品有:PI(PlantInformationSystem)、PHD(ProcessHistoryDatabase)、IP.21(InfoPlus.21)。本文所研究系统为PHD实时数据库系统,是企业一体化解决方案(UMS,UnifiedManufacturingSolution)。

1实时数据库PHD340的总体结构

1.1数据采集接口通讯原理

根据装置监控系统接口多样性的特点,数采站上运行的数据采集软件针对不同的监控系统接口类型,根据数据采集服务器的数据请求,从监控系统读取生产实时数据,并返回给实时数据库。数据采集站具有本地缓存功能,使系统在接口服务器与数据采集服务器之间的网络中断时,数据采集不中断。本文所研究的数据采集模块是利用数采PHD缓存服务器将装置控制系统中的数据采集并转发至实时数据库,根据装置DCS/PLC接口多样性的特点,数采PHD缓存服务器上运行不同的实时数据接口(RDI)。RDI是PHD从控制系统、数据库中获取数据的接口软件,RDI与PHD应用工具相结合使用,具有诊断、恢复、配置管理功能。具体数采协议采用Honeywell的OPCtoRDI,OPC-RDI是Honeywell针对OPC协议开发的通用数据接口,OPC(OLEforProcessControl,用于过程控制的OLE)是一个工业通讯协议标准,基于微软的OLE、COM(部件对象模型)和DCOM(分布式部件对象模型)技术。OPC包括一整套的接口、属性和方法的标准集,用于过程控制和制造业自动化系统,该通讯协议适用于通过网络把最下层的控制设备的原始数据提供给作为数据使用者的HMI(硬件监督接口)/SCADA(监督控制与数据采集)、批处理等自动化程序。

1.2数据存储与管理

数据存储与管理系统由实时数据存储与管理及关系数据的存储与管理两大部分组成。实时数据存储与管理基于实时数据库,实时数据库是数据采集系统的实时数据存储中心,存储从各装置采集到的生产实时数据,并向应用系统提供数据服务。企业所用PHD340为全企业范围内的数据采集、存储和管理建立了一整套统一、开放,集成的一体化应用平台,开放型的数据库系统集成所有工厂的过程数据并支持相关应用。它存储与工艺流程相关的几万至十几万位号点的数据,其他应用程序可从这些数据中提取出符合自身需要的信息,并对MES、计量管理系统、生产优化系统等应用系统提供数据接口。这些信息可以用来指导工艺改进,降低物耗,增加产量。实时数据库管理具有以下主要功能:实时数据管理、历史数据管理、标签定义管理、数据备份与恢复等功能。

2数据接口的研究与分析

2.1各类型DCS的数采接口配置与应用

2.1.1中控ECS-700系统

确定中控ECSV700系统的软硬件配置情况,包括操作员站、工程师站节点的IP地址、冗余交换机的网络环境、VF软件的具体版本等基础信息。首先,在组态服务器端打开监控启动软件,下一步进入VF的系统结构组态软件,管理员admin的权限下,在操作域组态处新增操作节点,此操作节点的控制A/B网和信息网IP地址即为服务器指定的数采客户端。OPCServer机器根据系统步骤安装好中控VF软件,配置好指定生成的IP地址后连通与工程师站的控制A、B网与信息网通讯,接下来是启动系统监控软件,选择对应的作用域,根据提示进行当前操作域的全部更新工作,即可完成DCS组态数据的下装工作。接下来需要根据PHD的用户权限来配置本机的DCOM,主要是SUPCON.SCRTCore和OPCEnum的多用户权限,指定通讯账户和标识用户账户,将装置实时数据接入OPCServer[1]。接下来配置虚拟buffer机,并接入网络,网卡一与OPCServer站对接,网卡二接数采专网,在buffer机上创建与OPC服务器统一的通讯账户后,并配置数采RDI采集接口,建立与OPCServer的访问通道,并做好本地缓存机制,通过TPI工具完成buffer机与PHD服务器的SHADOW接口,并配置采集点与父节点。启动PHD服务器端与Buffer端的RDI接口,接口状态正常后即可将装置实时位号值采集至实时数据库服务器端。

2.1.2霍尼韦尔TPS系统

数采站上的数据采集软件响应PHD实时数据库服务器的数据请求,通过APP节点机APISERVER采集系统的生产实时数据,并上传到PHD实时数据库。同时,数采站具有本地缓存功能,在与PHD服务器之间网络通信中断时缓存数据到本地,等网络通信恢复正常后可将数据转发到PHD数据库服务器。HoneywellTPS系统的接口工作包括确定工作站APP节点机和LCN缆的网络状态,OPCServer硬件机器首先安装配置好LCNP客户端,再由LCNP专用板卡接口接入LAN缆来汇入DCS的通讯网络,网卡二接入数采VLAN专网。在buffer机上配置数据RDI采集接口,建立与OPCServer机器的访问通道,做好本地缓存机制。同时,在buffer机器上完成与PHD服务器的Shadow接口通道,根据采集到的数据属性和类型完成数据父节点的配置。

2.1.3横河VP系统

横河VP的DCS通过内部网络配备一台专门用于数据采集的OPCServer机器,其相当于一台只有查询数据没有组态功能的工程师站,通过本机OPC与上层buffer机器的RDI接口协议实现数据采集功能,其主要是通过HISUtility来实现对外的数据,其中的权限需要添加ENGUSER、OFFUSER、ONUSER这3个用户[2]。在本机的EXAopcOPC接口上的OPCtab上面确定需要连接的账户名称。完成OPCServer机器的数据后,一般采用RemoteRdi通道来完成同PHDBuffer机器的数据传输。RemoteRDI接口的原理为调用实时数据库RDIServer的远程接口方式,实现数据的远程采集。首先,在下层数据所在机器上注册RemoteRdi的服务,远程通道的端口号配置54200,在桌面服务中选择UniformanceRemoteRdi自动运行,登陆账户为本地系统默认账户,同时允许服务与桌面进行数据交互。其内部机制是通过rditcpip.dll和rdiutils.dll的动态链接库为依托,实现与上层RDI接口的数据通讯。

2.1.4霍尼韦尔PKS系统

首先,确定HoneywellPKS系统的软件版本与硬件配置情况,主要是冗余交换机和工程师站的内网地址,确定DCS系统目前数据所在的ServerA/B服务器,在系统各项配置安全的前提下,做好OPCServer机器与DCS服务器的数据通讯[2]。在OPC接口的协议下,使用管理员权限的用户名密码与服务器端保持一致。接下来需要配置DCOM权限来保证数据的正常通讯,具体情况与上文涉及到的DCOM一致。完成后须重启电脑,使用PsOPCClient这个枚举工具来查询到组态服务器上的HWHsc.OPCServer,接着可以add一个group组,选中数据查询其实时值且属性为good。到此表明数据已经成功从DCS服务器接入数采系统中,后续则通过RDIServer来接入上层服务器。

2.1.5浙江中控ECS-100系统

通常来说,中控的OPCServer包括了OPCDA标准和OPCAE标准的OPC服务器,可以向客户端提供实时数据[2],同时也提供仿真数据供离线进行调试。OPCServer综合版通过广播模式可以和多个客户端程序进行连接,每个连接可同时进行多个动态数据的交换,同时支持以诊断位号实时值的方式,对外提供控制器、通讯模块、I/O模块的诊断项的故障状态[1]。通常数采现场需要配备一台微型工作站和中控软件专用加密锁(即软件狗)认证作为OPCServer。首先,需要安装HASPUser驱动程序来正确识别中控OPC软件狗,在中控JXserver的客户端的系统信息中保证软件狗的正确识别;在中控软件配置正确完毕后,在创建同一个I/O接口下,OPC服务器将采集到的数据转换为OPCDA数据和OPCAE数据,并通过OPC通信专网将这些数据传送到对应的OPCDA/OPCAE客户端,到这里即顺利完成OPCServer的配置工作。接下来在保证用户名和密码的上下级一致后,由实时数据库的UniformancePHDRDIServer服务来完成与OPCServer的数据对接工作。

3实时数据对各信息系统的支持作用

3.1实时数据本地优化技术的体现

实时数据库作为收集全厂工艺数据、设备数据、报警数据、环保数据等多类型数据的第一线,通过上述数据接口技术,保证数据稳定、可靠、时效地传输至实时数据库数据存储系统中。在服务器层面最大限度地利用了实时数据库内部数据的OPC映射传输原理,分布式地实施配置了多台“影子”数据服务器,供上层50余个信息系统使用,取得了保持高并发量且长期稳定运行的良好效果。在实时数据管理与优化的层面上,通常意义上的时标型数据并非仅仅指时间戳、值和可信度,还有一个很重要的属性,那就是及时性。及时性有两重含义,一重是采样间隔和数据的新鲜度。时标型数据的价值随新鲜度降低而递减,而得到数据的新鲜程度往往取决于采样频率。目前,实时数据库从上代的180秒/次提升到了30秒/次,同时在DCS负荷安全允许的许可下,对报警数据、环保数据等特殊生产数据的采集频率进一步提高至5秒/次。采样的频率快慢与否还进一步决定了实时数据库保存信息的丰富程度。

3.2对智能工厂各功能模块的对接

智能工厂系统作为企业信息化水平的综合体现,一定程度上代表着企业的信息化建设程度的高低。目前,实时数据库对智能工厂的设备健康管理与预警和工艺大数据两大组成模块有着举足轻重的支持力。在对装置DCS的重要运行状态的预警监控子模块上,实时数据通过安全数据接口技术采集到控制器的状态、负荷余量,机柜电源状态、UPS电源状态、网络通讯状态、重要机组设备报警、特种阀门报警等一系列的现场设备数据。同时根据智能工厂系统对数据并发量的个性化定制需求,做好实时数据库影子服务器对外接口的优化工作,在保证高并发量稳定传输的同时进一步减小采集间隔,提高数据使用率与数据的新鲜度,使系统界面能够更迅速地自动刷新实时数据。在工艺大参数模块中,实时数据根据系统整体的设计思路需要和算法要求,进一步提升对此模块需求的个性化定制水平。特别是重要生产装置关乎产品质量的在线分析仪数据的采集工作,实时数据库针对以上特性,对包含有在线分析仪数据的装置接口,在安全稳定的前提下需要适当提高数据的采集频率,同时通过接口参数的微调进一步提高接口传输的稳定性。

3.3对装置自控平稳提升及报警操作监控的支持

在装置自控平稳提升及报警操作监控项目上,主要是对装置的自控率、平稳率、报警、操作、控制系统进行监控,实施全流程自动和“黑屏操作”。对此实时数据同样给以巨大的支持,在自控率及平稳率的相关数据采集上,根据P.I.D数据不同的数据类型,数采RDI服务通过各装置DCS的OPCServerDA接口采集到对应的过程数据,由Nginx程序通过80端口转发经硬件防火墙至上层报警操作服务器端,通过汇总分析与后台计算,将各装置回路的自控率与平稳率进行统计、评比、展示与历史查询。同样,DCS报警信息由事件数据采集接口OPCA&E采集到,以只读取不写入的方式读取时间数据,数据采集接口采用订阅的方式获取报警操作数据,订阅式方法为监听接口数据动态。当数据产生时,数据源主动将数据发送到监听端,而非高频率主动访问,不会对数据源产生任何负载。其主要采集的目标为装置运行的过程报警、系统报警、生产操作等事件数据,部署在数采buffer机器上的Nginx程序接收到DCS服务器端得到的事务数据再转发至上层报警操作监控服务器,经过系统后台运算,即可在WEB平台对装置的DCS报警进行实时监视、历史查询、报警KPI考核等一系列的模块与功能。

3.4对企业日优化与日效益平台的大数据支持

目前,日优化管理通过建立一体化的计划-调度-技术-装置优化模型体系,构建一体化全流程优化平台,实现在线全流程的PDCA(计划-实行-检查-调整)计划管理,提供效益测算和最优生产计划。从调度预测开始,实时数据采集到当天的原油调和订单数据以及油品性质分析等相关数据,以及现场的调和头的阀位和储罐的液位,为多套常减压的进料量配比提供数据支持。在产品后续的二次加工计划优化上,目前实时数据库对装置出口产品在线分析仪的数据采集覆盖率已经达到了96%以上,而人工4h~8h间隔的产品化验结果数据已经满足不了调度的指令频率,通过实时数据库接口上来的在线分析仪产品质量数据可以在30s内通讯到日优化平台的多个优化计算模块和进行长期跟踪比对。日效益平台为企业决策层提供多方面、多层次的经营管理成本分析数据,实现对企业各个装置效益的实时监控,推动各生产装置持续优化日效益。通过采集装置的能耗、物料平衡、公用工程计量数据等所需实时数据,经过系统后台优化计算,得出吨油效益、当日效益、总产出、产品产出等实时效益数据,同时强化不同加工量、不同价格体系下的盈利能力分析,不折不扣地抓好原油加工、产品结构、销售策略等优化测算,努力为企业实现效益最大化。

4结论

(1)实时数据库作为生产企业MES、计量管理、生产优化、先进报警、环保监控等系统的重要组成模块,对实时决策、指标考核、节能降耗、稳定生产等起到了积极的作用,有效提高了企业的应变能力和管理水平,让生产过程信息触手可及,消除了“信息孤岛”,拉近生产装置和管理层的距离,弥合了生产车间过程和企业计划层控制系统之间的间隙,实现了底层生产信息的集成。通过对工艺历史数据趋势的分析对比,以及关键性能指标变化趋势分析,可以迅速找到一些工艺疑难杂症的问题所在。通过对实时数据库设备状态长周期的研究,设备工程师可以分析设备的运行状况,提供设备检修计划,最大限度地发挥设备潜力与及保障设备的安全运行。

数据采集范文第4篇

一、工作目标

1.采集本市户籍人员的基本信息;

2.采集本市参保人员的基本信息和参保信息;

3.采集持有本市公交、园林、公共自行车等信息化卡人员的基本信息;

4.采集其他相关人员的基本信息。

二、工作任务和要求

市民卡数据采集是一项复杂细致的工作,必须采用“统一部署、部门协调、市镇联动”的方式,有计划、有步骤地实施。

1.领导小组办公室(市经信委)负责协调部门和板块的数据采集,组织宣传发动和培训,协调数据的汇总和入库。

2.各部门工作任务包括:

(1)公安部门负责提供人员的基础信息,作为数据的比对依据,在数据下发核对后,进行数据录入并提供数据;

(2)人社部门负责提供参保人员的基础信息及发卡信息、职业和专业能力信息、就业信息、社保信息、学历信息等;

(3)卫生部门负责提供本市居民医保参保人员的基础信息;

(4)教育部门负责提供在校学生的学校、照片、联系方式等信息;

(5)人口和计生部门、民政部门配合必要的信息核对工作;

(6)交通运输、旅游、城管等部门负责现有公交、园林、公共自行车等信息化卡相关数据的提供。

3.各板块负责组织协调各自区域范围内人员的数据采集工作,抽调专人组成采集小组,具体负责市民卡的宣传、信息采集和发放工作。对户籍人员采用入户调查的形式进行采集核对,对于缺失的数据进行补采、变化的数据进行更改、错误的数据进行修改。采集的信息由公安和人社条线录入汇总。

三、时间安排

1.宣传发动和培训阶段:2014年3月底~4月中旬。

2.实施推进阶段:2014年4月中旬~6月底,内容次序包括:

(1)4月15日前由公安、人社、卫生部门提供各自基础数据作为上门核对的依据;

(2)6月20日前社区(村)上门核对采集;

(3)6月底前由部门汇总。

3.形成统一汇总数据阶段:2014年7月底前完成,并形成发卡信息。

四、保障措施

1.完善组织体系。(1)成立市民卡数据采集工作领导小组,由市政府分管领导任组长,成员单位由市经信委、公安局、人社局、卫生局、教育局、交通运输局、旅游局、城管局、人口和计生委、民政局以及各板块组成,领导小组办公室设在市经信委。(2)各板块成立相应的市民卡推进工作组,负责指导和培训村和社区的宣传动员、信息采集等工作。

2.加强宣传培训。由领导小组办公室会同相关部门制定统一的宣传培训内容和计划,对各板块进行专题培训;由各板块组织所辖社区(村)进行培训。

数据采集范文第5篇

一、大数据对计算机专业人才培养的影响

大数据是指大量非结构化与半结构数据的多源异构数据集合,是无法在可容许时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据具有数据量大、多样性、高速化、价值密度低等特点。大数据技术的真正价值不在于掌握规模巨大的数据量,而在于提高对数据的加工处理能力,对这些海量异构数据进行分析利用和二次开发,以挖掘其潜在的关联与规律,实现数据“增值”。在教育领域,随着云计算和物联网技术发展起来的大数据技术必然成为各国教育研究者竞相争夺的前沿研究阵地,是传统教育研究向科学实证转变的重大机遇。与此同时,大数据技术已深入影响计算机专业,对计算机专业人才的培养产生了极大影响。

(一)对计算机专业课程体系的影响

大数据产业的发展,对计算机专业人才提出了新需求。国内各高校在大力开展大数据学术研究的同时,势必将大数据相关理论与技术知识融入计算机专业人才培养体系中,以满足现代社会对大数据应用人才的需求。

(二)对计算机专业人才教学模式的影响

大数据时代的计算机专门人才应能系统掌握数据分析的相关能力,具备较为扎实的信息技术与数据科学相关知识、较强的信息技术工程实践与大数据分析能力。因此,各大高校应在计算机专业人才的培养体系中融入大数据相关理论知识与实践技能,在计算机专业教学过程中注重多学科整合、理论与实践的结合。

(三)教师队伍建设影响

为培养合格的大数据管理分析计算机专门人才,势必要修订先前的计算机专业课程体系,对其融入众多大数据应用与分析相关课程。新课程的引入、新教学内容的增加,也对计算机专业教师队伍提出了新要求。培养大数据时代计算机专业人才必须加大教师培训力度,适时提高计算机专业教师大数据理论与技术水平。

二、大数据视角下计算机专业人才培养的基本原则

如今,大数据产业如火如荼地发展。为培养适应大数据时代需要的具有较强计算机技术实践应用能力与知识创新能力、大数据管理分析能力的高级应用型工程技术人才,大数据视阈下的计算机专业人才培养应遵循以下基本原则。

(一)多学科协同

计算机专业是一个软硬兼顾的宽口径专业,是面向系统、侧重应用的专业。计算机专业涵盖课程面非常广,与其他学科联系比较紧密。同时,大数据时代对计算机专业人才提出新的大数据处理与分析要求。因而,大数据时代计算机专业人才培养要重视多学科协同创新发展,注重跨学科基础知识和交叉领域学习能力的培养。

(二)校企协同创新

大数据是互联网、物联网与云计算的产物。它要求计算机专业人才在具备一定的计算机软硬件系统分析开发能力的基础上,熟练掌握大数据采集、存储、管理、应用分析等能力。而各高校大数据视角下的计算机专业人才培养还处在探索阶段,未形成体系。大数据处理是学科交叉的系统性工作,应用性与实践性要求高,因此,大数据人才培养需要企业的参与。高校计算机专业人才培养方案与大数据研究机构及企业相结合,可为学生提供更多大数据管理与应用分析的生动案例与实践平台,提高计算机专业人才的大数据分析能力。

(三)以数据为中心

大数据时代,计算机行业发展成真正的信息行业。计算机专业人才应充分掌握大数据技术处理能力。大数据处理技术是指从各类、多源、异构、海量数据中,快速获得有价值的信息或知识。现今,软件的发展不再以编程为核心,转向以数据为核心。因此,大数据视阈下,计算机专业应以数据为中心,建设课程体系,组织教学内容,加强大数据分析处理能力的应用实践。

三、大数据时代计算机专业人才培养方案探索

(一)明确培养目标

传统的计算机专业旨在培养具有较强实践应用能力与知识创新能力,能从事有关计算机科学与技术方面的研究、应用和开发工作的高级应用型工程技术人才。然而,大数据时代下,计算机专业人才应在具备一定数学、计算机等知识的基础上,较全面地掌握大数据方向的基本理论和技术。因而,大数据时代计算机专业应以培养具有较高综合业务素质、较强计算机工程实践与应用创新能力,系统掌握大数据系统管理、研发、分析与利用能力的高水平、复合型精英人才为目标,以适应大数据时代对计算机专业人才的需求。

(二)合理设置课程体系

大数据的影响力已辐射到人类生活的众多行业领域,计算机技术更是面临巨大挑战。由于大数据资源的规模宏大、多源异构,计算机技术在大数据处理、存储、通信、传输等方面面临众多难题。为适应大数据时展,满足市场对大数据应用专门人才的需求,计算机专业教学应注重教授学生基础理论知识,培养其应用创新能力,从计算机、通信、统计分析、管理等多学科融合角度出发,进行计算机专业课程体系的设置。

1.基础课程设置

注重多学科基础理论与知识的学习与领会。由于大数据背景下的计算机技术涉及多学科领域知识,这要求计算机专业基础理论课程不仅包括传统计算机专业基础理论课,还要涵盖大数据相关的理论知识(如大数据技术基础、云计算技术、物联网、概率论与数理统计等),引导学生了解大数据技术,激发学生对大数据产业的兴趣。

2.计算机专业课程设置

大数据视阈下,计算机专业课程的设置主要是使学生掌握必要的与大数据相关专业知识和专业技能,了解大数据时代计算机专业的前沿科学技术和发展趋势,培养学生分析解决计算机工程实际问题和企业大数据应用实践问题的能力。主要专业课程包括管理信息系统、数据库原理与应用、NoSQL数据库技术原理与应用、分布式数据处理、数据分析、模式识别、机器学习、数据挖掘、分布式文件系统HDFS、分布式计算框架Mapreduce、集群文件系统ClusterFS、分布式数据库HBase、分布式数据仓库Hive。

3.计算机专业实践性课程设置

这类课程重在培养学生解决大数据应用实践问题的能力,提高学生大数据分析与应用创新能力。其核心课程有Hadoop实践、并行与分布式计算、社交网络分析、大数据实例分析、HadoopMap/Reduce技术原理与应用、海量数据分析、数据可视化、大数据安全与隐私保护。

(三)采用多维立体实践教学模式

大数据背景下,计算机技术是一门实践性与创新性较强的学科。因此,计算机专业教学势必要变更传统教育模式,从人才培养流程上构造课内实验、课外实践、课程设计、毕业设计、企业实习等不同层次的多维实践训练体系。大数据在海量数据、实时数据、社交网络分析等方面的应用主要来自企业,所以具备大数据技术的专业人才的培养需要企业参与。同时,在互联网时代,大数据已成为企业核心战略资源,也是企业创新的源动力,而企业大数据人才的需求离不开高校的培养。为此,应构建学校、在线平台、企业实习基地等多途径立体实践训练体系,打造校内外联合实习、校企互利双赢、线上/线下教学相结合的实践教学模式。

四、结语