大数据时代的应用
大数据时代的应用范文第1篇
关键词：数据时代 数据库 技术应用
中图分类号：TP311.1 文献标识码：A 文章编号：1007-9416（2016）11-0241-02
社会各行各业之所以可以不断的改革和创新，与信息技术所具备的强大推动力有着密不可分的联系，同时在其推动下人们也进入了一个全新的信息化时代，增加了人们在生活中所涉及到的方方面面的信息亮。人计算机数据库技术的诞生为人们及时有效的管理这些信息提供了重要的技术支持。目前，在社会的很多领域比如：国防、通讯等行业都在大力的推广数据库技术，而这些也给人们的生活带来了极大的便利。就目前这项技术发展的情况而言，这项技术不但可以完成对信息的及时有效处理，而且其也积极的推动了社会的发展和进步。
1 数据库技术特点
数据的统一处理可以通过数据库实现。在没有广泛的应用计算机数据库之前，传统的数据库技术在信息处理时存在过于分散而且相互之间联系不够紧密的缺点，从而使得数据的作用没有充分的发挥出来。而计算机数据库则可以有效的在各个数据之间建立联系，并利用相关的逻辑顺序实现了数据结构模型的建立。同时数据库中的各个数据又可以保持其独立性，在进行某一数据的更改时不会对数据库的整体结构造成影响。正是因为数据库本身具备了数据的共享性，所以相关文件系统也就不用用户自己建立，只需要其借助计算机进行所需数据的调取就可以了，这样也就避免了信息重复。而且由于数据库中相关的信息还具备了整体性、一致性以及独立性，所以也进一步提高了数据调取和使用效率的提高。
1.1 组织性
数据库内所有的信息都具有一定的顺序和结构。数据库中左右的文件和信息之间都存在着联系，而且其排列也是按照一定的顺序，从而组成了信息结构体系的整体性。而且存储在同一数据库中的信息都有相似的特点。
1.2 共享性
计算机数据库建立的主要目的就是实现数据库的共享。如果数据库无法实现数据信息的共享的话，那么这个数据库也就失去了建立的意义。具备良好共享性的数据库不但可以进行内部信息的共享。而且和可以在不同的数据库之间建立联系，从而实现不同部门、不同个体之间的数据共享，甚至在不同的国家和地区之间也可以建立数据库的共享。
1.3 独立性
逻辑独立性和物理独立性是数据库独立所体现的两个方面。可以随意的改变某一个数据库的逻辑结构就是我们所说的逻辑独立性。比如，可以修改数据库内部数据的性质，或者将新的数据添加到数据库中，而且还可以调整数据的类型。而在调整这些信息的时候都不需要对原有的程序进行更换。数据的存储结构发生根本性的变化就是我们所说的物理独立性，比如，数据库原有的逻辑结构不会因为存储设备的更滑、存储位置的更滑或者存取方式的改变等情况而受到影响，同时也不会将程序运行的方式有任何的改变。
1.4 冗余度的可控性
冗余指的就是数据库中重复的数据。在需要对数据库中的数据进行专用的情况下，用户经常会在接收信息的过程中重复接收相同的数据，而此时也就出现了数据的冗余。而通过计算机数据库技术的应用就实现了系统自动删除重复信息数据的功能。而且，具体的操作人员也可以根据实际的需要保留一定数量的冗余数据，这样不但可以提高数据查询的效率，而且也更加方便了用户的操作。
1.5 灵活性
数据库不但要进行数据的存储，同时好不想具备管理、编辑、输入以及输出等相关的功能，同时在实际的使用和操作时灵活性也相对较大。而用户在使用的过程中可以根据自身的实际需要建立相关的信息数据库，并可以随时的调用数据库中所存储的相关数据信息。
2 数据时代数据库技术的具体应用
目前使用的最为广泛的信息管理手段就是计算机数据库技术，这项技术最大的优势就是提高了信息管理的效率，而且其在很多行业中都得到了广泛的应用和推广。数据存储不仅可以通过计算机数据库的应用得到满足，同时其还提供了更加个性化的服务给用户。就目前而言，计算机数据库在应用的过程中主要有以下几方面的特点：首先，用于对敏感、机密数据资料的处理中。计算机数据库可以通过设置数据访问的密码、防火墙等方式确保信息的保密性，避免了机密的信息数据被恶意的窃取或篡改。同时其对于用户个人的隐私也具有极为重要的作用，所以，计算机数据库技术已经被越来越多的商业机构用来进行数据的存储。其次，建立有效的数据模型。信息的内容不同其所具有的性质和价值也就不同，因此必须根据信息的特性对其进行分类和整理，切记不可所有的信息都采用统一的模式进行处理，只有这样才能从根本上保证信息处理的质量，为后期的查询与使用做好铺垫。同时计算机数据库技术还可以根据不同信息数据的特点按照需要迅速的建立数据模型，为人们查找数据提供了极大的便利。最后，保障数据信息的安全有效。安全管理信息是数据库所具备的另一大特点，这一特点为数据的安全可靠性的提高奠定了基础。目前，所使用的数据库一般都具有信息自动备份和文件恢复的功能。即便系统因为意外而出现故障，也不会造成信息丢失。而如果系统受到外部入侵窃取者被恶意篡改时，通过对之前备份好的数据进行还原就可以得到原始的数据。而这些度不仅对数据库的安全性提供了最大限度的保障，而且降低了因为数据故障而使数据安全受到威胁。
3 数据时代数据库技术在应用趋势
3.1 计算机数据库技术在信息管理中的应用范围日益广泛
将计算机技术和数据库技术紧密的结合，使得这两种技术的潜能得到了充分的发挥，而且其应用的前景也极为的广泛。随着计算机数据库自身应用范围在商业、农业以及服务业等领域的不断扩大，也进一步促进了相关产业管理效率和质量的提高，从根本上保证了产品的信息质量，而且也促进了相关产业的深化发展。安全性和实用性是计算机数据库技术最大的特点，而且通过各个领域的推广已经取得了显著的效果，不仅获得了各个产业的青睐，而且为这一技术的深化发展奠定了良好的基础。
3.2 计算机数据库技术在信息管理中的应用呈现出强劲的发展势头
在实际的应用过程中计算机数据库技术的优势已经越来越显著，所以这项技术已经得到了越来越多的行业的应用和推广。同时计算机数据库技术在其实际的应用过程中也在不断的进行自身的完善和创新，而这也促进了信息管理效率的提高。到目前为止数据库技术已经经历了几十年的发展，可以将其发展阶段分为：网状数据库的使用阶段和层次数据库的发展和使用两个阶段，目前为止，人们对于对象数据库的应用已经极为的广泛。数据库技术在其不断的发展和演变的历程中技术日趋的成熟。而且经过不断的实践检验之后，其在信息管理方面的能力有了更进一步的提高。从而使得目前所使用的数据库具备了更加便捷、高效、安全、稳定、操作性强以及稳定性高等优点，而这些优点对于其在各个领域的推广和应用都具有极为重要的意义。伴随着对媒体技术的迅速发展，在不久的将来。数据库在数据的编辑、整理以及展示等方面的能力也会得到进一步的提升。同时将其与多媒体技术有效的结合之后，实现了对文字、声音、影像等素材的综合展现，而且还可以进行复杂信息的处理，而这些不但提升了这一技术在信息管理方面的应用力度，同时也扩大了这项技术的使用范围。总体而言，数据库技术与计算机技术不但会更加紧密的结合在一起，而且其应用范围也会越来越广阔。同时信息管理的前景和市场也会随着计算机数据库技术的应用而不断的扩大，这项技术的身影会出现在农业、工业以及商业等众多的领域，不仅从根本上提高了这些行业的信息化水平，而且也带动了相关领域生产力水平和生产效率的提高。
3.3 计算机数据库技术的系统安全性能不断增强
计算机数据库技术在信息管理中的功能，随着数据库安全性能的提升而得到了充分的发挥。利用计算机数据库技术进行保密性较高的信息的存储可以有效的避免安全风险的发生，使信息资源的价值得以充分的体现出来。而且计算机数据库技术也具有便于管理的最大特点。数据信息利用计算机系统的备份功能进行备份从而避免因为误删信息而造成不必要的损失，同时也有效的降低了信息复制的成本。同时随着计算时数据库自身安全性能的不断提高，也增强了其在数据保护时的效果，不仅过滤了非法的信息，而且对于危害数据库安全的操作和行为也进行了有效的阻止。而计算机数据库不较之传统的安全保护手段而言，其不仅新增加了用户账户、新型密码等手段，而且还设置了更多的抵抗风险的系统，从而全面的提升了计算机数据库的管理性能，为广泛的推广计算机数据库技术奠定了良好的基础。
4 结语
总体而言，由于我们处于信息化时代中，而且每天都会面对新的事物的信息，而这也就增加了人们每天生活中所面临的信息量和数据量。而要想对这些信息和数据进行有效的整理和筛选就必须有先进的信息处理技术。所以将计算机技术和数据库技术紧密的结合在一起，就可以将两者的技术优势充分的发挥出来，使其具备更加完善、高效、全面的数据信息处理功能，从而促进信息处理效率和质量的提高。
参考文献
[1]金澈清，钱卫宁，周敏奇，周傲英.数据管理系统评测基准：从传统数据库到新兴大数据[J].计算机学报，2015，01：18-34.
[2]刘海英.数据挖掘技术在警务数据分析系统的应用研究[D].吉林大学，2015.
[3]梁宁宁.基于标准数据建立企业集团数据仓库及费用分析研究[D].重庆理工大学，2015.
大数据时代的应用范文第2篇
一、大数据时代银行面临的挑战
（一）银行中传统方式对银行企业文化的冲击
随着大数据的发展，对银行产生很多影响和冲击，对于银行企业文化发展的影响主要包括以下几方面：第一，摒弃偏爱纯净数据和有条理数据，转向接受非结构数据，允许少量不精确数据。第二，逐渐从局部冲击变为全部冲击，因为大数据时代不同于以往的情况，需要大量数据，因此全面冲击企业文化。第三，企业文化与数据逐渐冲因果关系变为相关关系[1]。
（二）银行面临的数字化挑战
大数据分析对于银行决策来说就是一定的扩展数据、快速分析数据的作用，支持银行发展目标。随着大数据时代的发展和进步，银行面临着一些挑战，一方面要使银行内部不断开发新业务和新产品，另外一方面就是传统数据结构性能问题。数字化的发展使得银行需要面对大量的数据，数据增长速度快、规模庞大；类型多，数据类型除了传统的结构以外，还具有语音、视频、文字、图片等形式，结构复杂，内容繁多；分析规则复杂，一般有价值的数据藏的都比较深，需要利用多种算法进行分析；具有很高的实时性，随着数字化发展，数据处理的速度更快，实时性更强，需要及时准确地进行处理[2]。
二、数据挖掘技术
（一）数据挖掘概述
1.数据挖掘技术应用步骤
数据挖掘实际上就是在海量数据中利用各种分析工具来发现数据之间的关系和模型的过程，预测数据关系和模型，以便于可以很好的找到潜在的数据关系，发现被忽视的原因，因此，是目前解决数据爆炸的有效方式，被称作KDD。数据挖掘属于反复的过程，主要包括以下步骤：
第一，定义问题和分析主题。在挖掘数据的时候，需要分析应用领域，主要包括应用目标和知识[3]。定义问题可以适当的充分了解实际情况，熟悉背景以及用户需求，不能定义缺少背景的知识。在确定用户实际需求以后，需要评估历史数据，利用数据挖掘来不断满足用户需求，然后制定合理的数据挖掘计划。
第二，准备数据。数据挖掘需要处理的数据不但具有大量数据，还会存在一些冗余数据和噪音数据以及不完整数据。准备数据主要包括数据清理、集成数据、选择数据、变换数据、归约数据以及数据质量分析。
第三，建立模型。主要就是通过已知知识和数据建立模型，能够有效的分析和描述知识和数据，可以在未知数据中进行应用。建模实际上就是把一般规律、相关经验形成抽象的分析模型，挖掘数据就是依据模型分析、处理、预测数据的过程。
第四，评估模式。评估模式主要就是通过知识来体现用户需求，然后优化挖掘数据过程中的数据，直到符合规范。
2.数据挖掘技术算法
数据挖掘技术算法实际上具体实现数据挖掘方法，主要包括模型表示、模型评价标准以及发现方法三部分。数据挖掘技术算法主要包括决策树、遗传算法、K―近邻算法、神经网络等。具有最佳搜索空间的方式就是遗传算法，利用应用遗传算法的适应函数来合理的搜索方向，然后通过人工算法来模拟一些生物种群的优胜劣汰和多样性，从而进行周而复始的一代代演化。决策树是利用树状结构来体现影响数据变量的分析预测模型，属性就是决策集合或者分类集合，通过自上到下的回归方式，树的叶结点代表不同种类、非终端结点代表属性。合理计算每个树期望值，得到最优解。K―邻近算法是在距离度量分类的基础上进行的，假设所有集合不包括数据集，并且包括很多类别的期望值。神经网络是能够模仿人类大脑思考结构的分析方式，利用非线性预测，来进行识别，从而得到各网络单元的数据。数据挖掘工具核心内容就是算法，主要包括分类分析、聚类分析、关联分析、统计分析、时间序列、相关分析以及值预测。一般比较常用的就是分类算法、值预测和聚类分析[4]。
表一数据挖掘工具比较分析
三、数据挖掘技术在银行中的应用
（一）贷款方进行信用风险评估应用
贷款方进行的信用风险评估是银行应用数据挖掘技术的主要方式之一，可以建立一定的评级模型，例如，神经网络模型、FICO评估模型以及贝叶斯分析模型等来进行贷款方风险评估。在评估银行账户信誉的时候，可以适当的使用直观量化的方式。依据信用评分为基本例子，在确定权重的时候，按照数据挖掘模型，对于申请过程中的每一项进行打分，累加起来就是申请人的实际信用情况。然后银行依据信用评分来确定是否接受申请人的申请以及信用额度[5]。
（二）客户关系管理中应用
客户关系管理也是银行数据挖掘技术应用的重要方式之一。发现以及开拓新客户是银行发展过程中比较重要的部分，利用探索性挖掘数据的方式，可以适当的发现数据中心的特征以及预测营销活动的实际响应率，例如，自动探测聚类。利用聚类分析的方式把客户进行分类，然后依据客户风险、服务收入成本等来分析、预测以及优化相关因素，以便于能够发现并达到盈利的目标。利用决策树的方式来合理计算客户贡献期望值，以此来分类客户，然后依据不同期望值进行分组，可以分为三种类别 ，包括黄金客户、顶级客户以及一般客户。然后依据不同种类客户的实际特点来提供一些特色服务，从而可以有效提高忠诚度。数据挖掘技术运用到银行中，可以适当的预防流失客户，在风险出现流失客户的时候，需要通过特殊待遇、额外增值以及激励忠诚度来对客户进行保留。例如，在预测客户停止在此银行放贷，变为去别的银行，可以利用适当降低利率以及增加额度来保留客户。数据挖掘可以在一定程度上及时转移关联因子，找到客户中比较类似的转移者，然后利用分析孤立点的方式来体现异常客户行为，以便于银行能够最大限度降低客户流失[6]。
（三） 关联规则挖掘在电子银行产品推荐中的应用
随着信息化技术的发展，电子技术也在不断进步，传统的银行柜面服务模式已经逐渐不能符合社会发展需求，电子银行应运而生。在推荐电子银行产品的时候运用关联规则，从大量银行数据中可以适当抽取一些有价值、有效的数据信息来推荐电子银行产品，也是关联技术的具体实践，可以在一定程度上带动销售、挖掘客户以及开发客户等的发展。电子银行发展，在一定程度上改变传统的银行模式，不断提高银行处理系统的智能化水平，让客户充分了解电子产品的优势，满足客户实际需求，建立相应的可以存储大量数据的数据库，利用简单的方式进行操作就可以得到数据信息，需要从多角度、多层次进行关联。关联规则运用到推荐电子产品中，可以在一定程度上调节资源配置，解决人力和资金，提高销售率，科学的进行市场预测，吸引客户，以便于可以获得更多利益[7]。
（四） 金融监管应用
第一，随着金融市场的不断发展和进步，保证金融市场正常运行的就是金融监管，同时也是预防市场风险的主要方式。现阶段，金融监管方式应用数据挖掘及时最主要的就是集中在反洗钱方面。在反洗钱中应用数据挖掘中的分类研究、孤立点分析、聚类等方式具有很大优势，利用上述挖掘数据技术可以保证金融机构可以有效的监测洗钱行为。
第二，监管非现场。在监管非现场的时候，进行数据挖掘，依据实际风险情况、资源情况、流动性情况、应力情况等，利用定量分析以及模型技术来逐渐累积监管模型库，以便于能够及时的计量银行经营情况。客户情况以及风险情况，进行纵向和横向比较，可以从根本上了解现场监督以及警示非现场监督。
第三，数据可视化。数据挖掘最重要的就是大量数据，对数据进行可视化处理可以为分析数据提供可靠图形，为金融监管人员提供保障和基础[8]。
大数据时代的应用范文第3篇
关键词：大数据时代；地理信息系统；问题分析；应用研究
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2015）05-0019-02
以往学者对地理信息系统应用大数据方面的研究较多偏向整体方面的研究，较为缺乏对地理信息系统应用大数据在技术层次方面的探讨。本研究从地理信息系统应用大数据在数据存储和数据处理方面的问题着手进行研究，提出了基于大数据的MongoDB和Dremel的解决措施。
1 地理信息系统应用大数据的必要性
受当时数据存储技术的限制，早期的地理信息系统主要采用RDBMS进行管理，或者采用文件与RDBMS的方式进行管理，如国产GIS软件GeoStar就采用后者的方式予以实现，其属性数据仍沿用RDBMS管理模式，图形、影响和DEM则交由文件系统管理[1]。但GIS本身固有的空间数据和海量数据特征以及数据处理快速响应的需求，决定了以RDBMS为代表的传统数据存储和以统计学和数据挖掘为代表的传统数据处理技术已经无法适应GIS数据存储及处理的发展需求。大数据的出现，带给了地理信息系统新的变革。就整体而言，大数据处理方式与传统数据处理方式存在以下区别。
大数据与传统数据处理方式存在诸多不同：首先，大数据没有抽样概念，其针对的是全部数据，即全样本数据概念，而传统的数据处理方式无论是统计学还是数据挖掘，都是以在数据中抽取样本研究的方式进行；其次，传统的统计学注重数据的因果关系分析，而大数据则完全无视数据的因果关系而在乎数据的关联信息；再次，传统的RDBMS数据处理技术十分追求优良的精确性、高度的一致性，使得其并不具备良好的可扩展性，而大数据则因为多样化的数据类型需要必须具备良好的可拓展性，并不再盲目追求计算结果的精确性，虽然RDBMS数据处理方式已经有了并行计算，但追求高度一致性和容错性的特点使得其无法像MapReduce等大数据并行处理技术那样具备“秒级定律”的可用性和可拓展性；最后，大数据处理的数据类型也不同于以结构化数据为主的传统数据处理方式，其数据处理对象包括了以数字、字符为代表的结构化数据、员工简历信息等为代表的半结构化数据、音频、视频等为代表的非结构化数据这三大类型，在数据处理难度大为艰巨的同时，数据处理能力也得到了极大的提升[2]。
由以上四个方面的对比可以看出，大数据相比传统的数据存储及处理技术，无疑更能满足地理信息系统空间数据、海量数据和数据处理快速响应的需求，因而地理信息系统应用大数据已成为时代的必然。
2 地理信息系统应用大数据的问题分析
2.1 数据存储
地理信息系统的空间数据特点注定了其数据存储具有明显的非结构化特征，其数据集呈现出典型的大数据特点，即海量数据规模（Volume）、快速的数据流转和动态的数据体系（Velocity）、多样化的数据类型（Variety）、快速变化的数据模型（Vitality）和高价值低密度（Value），以及高复杂度（Complexity）的大数据5V+1C特性。我国巨大的地理信息系统市场需求，爆炸性增长的空间数据存储、越来越快速的数据处理响应以及越来越多样化和清晰化的数据描述需求等等这些都对地理信息系统应用大数据提出了高要求。此外，地理信息系统的数据共享与保护、大量重复数据的处理也对其应用大数据构成了挑战。
2.2 数据处理
虽然地理信息系统目前已实现对海量空间数据通过多种途径进行汇总，但其对海量空间数据的组织、处理、加工和存储技术仍是较为落后[3]。在数据处理技术方面主要呈现为非结构化的海量空间数据与传统SQL数据处理技术的不相兼容，致使对海量空间数据的管理、处理和加工效果仍是差强人意，以此为基础的数据增值产品自然无法顺利产生，这已成为制约我国地理信息系统市场进一步发展的瓶颈。随着市场竞争和用户需求的现实需要，地理信息系统空间数据集的实时更新要求正不断被提升，在客观上需要不断加强的计算能力及效率。这既是地理信息系统应用大数据的客观需要，同时也是其海量空间数据顺应社会发展的必然要求。
3 地理信息系统应用大数据研究
3.1 数据存储
尽管GIS软件已经通过加入对象关系模型实现了对RDBMS的性能扩展，使其能够同时管理图形、属性数据、影响和DEM数据，并已实现了多比例尺空间数据的存储，但该数据存储模式已触碰到既有技术发展的瓶颈，并且是导致地理信息系统空间数据自动综合能力与效率低下的重要原因。此外，以C/S架构为基础的GIS系统由于自身的封闭性导致了其自身的数据共享能力偏弱，对批量数据处理后的存储与同步性更新能力与效率也仍是有待加强。有鉴于此，有必要采取大数据的存储方式，对传统的地理信息系统数据存储模式进行革新。
大数据处理方式与传统数据处理方式的一大明显区别是数据存储形式的不同。传统的数据处理方式在这一环节主要依靠RDBMS来实现。RDBMS尤其擅长结构化数据的数据存储，但却无法很好地存储半结构化数据与非结构化数据。而大数据处理方式均很擅长对半结构化数据与非结构化数据的存储。此外，大数据普遍采用分布式数据库或分布式计算集群实现数据的存储。其数据库类型被人统称为NoSQL，尽管传统的RDBMS也有分布式数据库，但它的存储方式仍以结构化数据为主，并在高一致性、高精确度等方面进行严格要求，因而无法实现良好的扩展功能，而NoSQL则没有这方面的严格限制。因此，NoSQL云存储技术应是未来地理信息系统数据存储的主流技术。
NoSQL摒弃了RDBMS的关系与连接特性，保证了在数据存储上的极佳可拓展性。数据存储模型的灵活多变，更是大大减少了其在进行数据存储和更新操作时的系统开销。以MongoDB为例，它为了实现对多样化的数据存储形式的兼容，采用了面向文档的数据库管理措施，使得其具备优良的可拓展性。其原理就是将RDBMS中“行”的概念替换成“文档”模型，因而能够确保实际数据存储时文档或数组的嵌套，并实现了复杂层次关系的单一记录存储[4]。它所存储的数据结构十分松散，保障了其数据存储模型的灵活多变特性，并能够有效支持复杂的属性数据，在索引结构方面也由于自身复杂层次关系的简化和查询索引技术的强大，已经基本实现了对RDBMS查询功能的完全支持。
由此可见，文档型NoSQL存储技术十分符合地理信息系统空间数据存储的要求，并且避免了地理信息系统传统数据存储技术在存储海量空间数据时耗费的数据压缩与转换的系统开销，因而能够通过对数据存储方式的革新有效提升地理信息系统在数据读取与更新时的效率。
3.2 数据处理
传统空间数据库都会建立多比例尺的空间数据库，再根据实际应用的需要调动不同比例尺数据库的数据，来增强地理信息系统对数据处理响应速度的需求[1]。但就其实际操作而言仍无法较好地满足地理信息系统对数据处理接近实时数据处理的要求，其矢量数据的自动综合能力也是差强人意。但在大数据时代，该空间数据的处理方式完全可以用大数据的交互式数据处理方式来予以解决。
交互式数据处理，主要指通过人机交互来逐步实现对数据的处理，它能让数据被及时地处理和修改，并让处理结果立刻被用户知悉和运用。当前交互式数据处理系统有Spark和Dremel等。作为高效分布式计算系统，Spark在性能上要比Hadoop在数据处理上的效率提升100倍，并提供了比Hadoop更为上层的API。Spark的代码简洁，Hadoop要实现与其相同功能的代码往往需要数十倍或上百倍的长度。Dremel则通过组建规模上千的集群来实现PB级别海量数据的秒级处理。因为Google专门设计Dremel用来弥补MapReduce的不足，因而Dremel在规模上、交互式查询能力都要比后者优越。
以Dremel为例，它通过嵌套式的数据模型来支持对半结构化和非结构化数据的并行处理。通过用列式存储方法来保存数据，进而在数据处理和分析时只需要针对指定数据进行处理，因而减少了CPU和磁盘的访问量。最后，Dremel结合了Web搜索和并行DBMS的技术，通过借鉴Web搜索的“查询树”概念，将复杂巨大化的查询搜索分割成并发在大量节点上处理的较小简单数据查询。简单而言，交互式数据处理方式就是通过对数据的分片存储和对查询功能的优化来实现对海量数据的快速处理。
由此可见，地理信息系统传统的多比例尺数据库数据完全可以通过Dremel嵌套式数据模型的列式存储方式进行存储，进而在响应实际数据处理需求时通过类似Web搜索的处理方法调出符合查询要求的分片数据，从而实现空间数据处理的优化，因为数据搜索的系统开销大为降低，因而大大提升地理信息系统的数据处理响应速度。
4 结束语
经过探讨地理信息系统在大数据应用方面的数据存储及数据处理问题，并针对性地给出基于大数据的解决措施，可以发现大数据在未来的地理信息系统具备广阔的应用前景。除了本文所提及的MongoDB和Dremel大数据处理技术，大数据还有以MapReduce为代表的批量数据处理技术、以Storm为代表的流式数据处理技术和以Neo4j为代表的图数据处理技术，它们都在未来的地理信息系统发展中大有可为。
参考文献：
[1] 龚健雅. 中国地理信息系统技术的发展[J]. 测绘工程， 2002（2）： 5.
[2] 维克托・迈尔・舍恩伯格， 肯尼思・库克耶.大数据时代[M]. 盛杨燕， 周涛， 译. 杭州： 浙江人民出版社， 2012.
大数据时代的应用范文第4篇
一、大数据时代下的新媒体应用
新媒体其实应该被称作是数字化新媒体，向用户提供信息服务的传播形态。这是新媒体的应用特点，也是其与传统媒体行业的不同之处。
新媒体的优势是：一是内容丰富，资源优势广阔。在迅速发展的网络时代，每个人都可以随时接收到各个方面的各种信息，加速了信息资源的传播速度；二是大大提高了时效性，打破了传统媒体的局限，随时都可以接收各类新闻；三是体现高度的参与和互动，人们可以借助新媒体技术实现新闻信息的自由传播；四是全方位的服务，不仅可以提供文字，而且可以提供图片、视频等内容，让每一个受众享受多方面的服务。
为满足新媒体信息传播的特点，服务于接收新媒体信息的大众的需求，图表新闻的组稿制作与方式，在这个时代背景下，显得尤为重要。
二、传统媒体中的图表新闻应用
传统媒体中对于图表新闻的形势也有着强烈的需求，例如，在电视的屏幕上出现数据分析。一张制作完善的图表可能比一两千字的文章更能将事情描述清楚，提高了新闻可视化效果。
早在上个世纪的80年代，美国美联社就已经开始用图表的形式提供数据。整个西方国家的美联社、路透社和法新社等传统媒体的代表大报社集团都非常重视新闻图表业务。在我国，伴随着互联网的发展，近几年各大商业网站陆续推出了数据图表栏目，例如新浪网的“图解天下”、搜狐网的“数字之道”、“腾讯网的”新闻百科”，以及2015年两会期间央广网出品的“花花两会课堂”、新华网的“数据观”、“光明网的‘据’焦两会”等等。
但是，报纸、期刊中的图表式新闻始终给人以整体新闻报道中的添彩而已的感觉，不能够完全提升新闻的品质，不能够用数据完全展示新闻，不能够发挥数据的最大化作用。新闻的客观性、准确性等特点，始终还是以文字的描述作为主要展示手段。只有在电视媒体中，通过“大数据”的利用，才能完全展示图表新闻的特色，发挥图表新闻的优势，只是从某种意义上讲，这种应用也是新媒体中图表新闻的特点应用，可以归类于新媒体中的一种。
三、新媒体中的图表新闻应用特点
为顺应网络时代诞生的新媒体，“媒介”的概念因此被大大的延展了。由此，人们对与新闻信息的新的需求就会提出更高的期望值，新媒体的出现恰恰可以满足，可以弥补许多传统媒体的缺憾，最大限度发挥新闻的时效性、客观性、准确性的优势。
新闻图表能够有效地传达事物的有效信息、重要信息，过滤掉次要信息和多余信息，利用大量数据取代了新闻叙事，文字比例大量减少体现了数据新闻简化事物的基本特征。并创新了海量信息的可视化呈现形式，丰富了数据新闻的表达。新闻图表的表现形式就是各种信息的叠加，可利用不同形状、曲线等叠加的方式使图片丰满，但要注意版面的排版。如何这些元素融为一体显的十分重要。同时也要利用色彩、图标、地图、漫画等元素，带来对视觉强烈的冲击。
当然，在新媒体平台上，图表信息主要呈现出的形式包括，静态信息图表、互动新闻设计、多媒体动画等。无论哪种呈现形式，都打破了传统媒体对版面空间的束缚。海量数据的引入，使信息的构架更加专业、更加全面、更加翔实。从信息含量到信息整合以及信息设计，都有了更大的操作空间，这些就是新媒体图表新闻的最大优势。
静态信息图表与传统媒体上的应用并无什么不同，只是在应用界面的设计上，会根据不同的操作终端而有所不同。这里面的区别仅仅是要展示读者在操作终端的方便性、信息的延续性，并最终体系合理利用设计元素、统一设计风格、有效利用设计语言，达到理想的视觉效果。
互动新闻设计是指，通过运用现代网络技术将海量信息与视觉设计融合成为一个整体，增强互动性。同时，将时间最新进展所产生的数据进行更新，系统会随着数据的变化自动生成最新的信息图表。互动新闻设计充分体现出三大优势：其一，数据视觉化表现。以图表、地图、示意图等多种形式进行呈现，有效的吸引受众的兴趣，同时提高受众对新闻内在关联的辨识度。其二，可以根据新闻报道的需要，编辑适合新闻自身特点的程序。以明确的新闻主题展开设计，运用合理的编程辅助实现新闻事件中的新闻点和规律，以时间、空间、事态发展等数据变化进行不同效果的展示。其三，在字体的运用、颜色的选择以及分栏等方面传递出新闻本身的特质，增加受众视觉系统的认知，传递传统媒介的优点。
多媒体动画又是一种全新的图表新闻特点的一种呈现方式，它融合了文本、图形、图表、图片、视频、音频等多种信息传递方式，建立良好的人机交互渠道，使受众多角度接受信息。受众可以从宏观到微观，更直观、更全面地了解各个细节。
四、图表新闻制作的难点
在制作图表新闻时，首先要确保这些数据的真实性和权威性。其次，要做到对数据的深入理解，将生涩的专业数据转化成受众能理解的内容。然后从海量数据中挑选出适宜的信息绘制于图表中，也是比较难的一个环节。
大数据时代的应用范文第5篇
关键词：大数据：软件工程技术：数据分析
1大数据技术和软件工程技术
大数据技术事实上是将人类日常生活中产生的各种数字信息，将这些信息收集起来之后分类处理，设定不同类别的存储空间，按照类别存储。大数据技术从功能的角度出发可以划分为多个类别，诸如分析技术、机器学习技术、遗传算法技术、自然语音处理技术等。应用大数据技术分析，就是基于当前的科学技术发展起来的一种分析技术。它主要依靠现代科技手段发挥技术的作用，特别网络技术发挥着基础性的作用。整理基础数据，对数据信息进行分类整理，应用相应的计算机算法，将相似特性的数据划分为一类，最终得到大量的数据，应用大数据技术对这些数据进行分析。大数据分析应用于互联网行业中，所发挥的优势是有目共睹的，而且还不断地引入新技术，在软件工程技术中应用，对该技术的发展起到了促进作用[1]。大数据时代，社会各个领域都已经实现了信息化发展，人们对软件工程的概念越来越熟悉。事实上，软件工程的历史始于20世纪的中期，其研究重点是软件技术和工程管理。将相关工程内容引入其中，使得工程系统化运行，其中所涵盖的研究内容包括软件的生命周期、软件工程设计、软件的技术维护等方面。因此，在软件设计的过程中，要控制好技术开发成本，保证工程质量，使其生命周期不断延长，不同项目的技术需求和用户的各种技术需求都能够得到满足。
2大数据背景下的软件工程基础
处于大数据时代环境中，软件工程的发展中关乎到不同的领域，需要高度重视。大数据技术具有专业性的特点，还具有很强的实用性价值。在软件工程技术的研究中，要从应用需求出发不断创新软件技术，对于传统的技术要不断摒弃，对软件工程的发展创造良好的客观条件。大数据技术环境下，软件工程基础是基于互联网技术建立起来的，对各种数据信息系统化管理，根据需要进行处理，对工业的发展非常有利[2]。在软件工程技术中，大数据的安全性问题是需要高度重视的，否则，就会对软件工程技术造成不良影响，引起严重的后果。
2．1软件服务工程
在软件工程的研究范畴中，软件服务工程的数量不断增多。软件工程服务化方向发展，就是发挥服务的作用，使其成为软件开发的基本原则，按照服务项目内容为用户展开服务。由于软件工程发展的主题有所，服务内容也要做出相应的调整，同城是对软件工程的进行技术维护。在具体的服务工作中，需要软件开发人员使用分布式应用程序，在管理工作中采用虚拟操作的方法为用户2019.08提供服务[3]。软件工程技术应用中，结合使用大数据技术，可以对网络数据进行编程，使得软件具有互操作性，对于数据主动协调，使其符合动态场景的变化节奏，软件系统的集成度有所提高。
2．2软件开源
软件开源更为注重用户对软件技术的体验。在对软件开源进行研究的过程中，采用常规的方法，虽然获得一定的成果，但是应用价值不是很高。一些研究人员在研究软件工程技术的时候，就是将软件开源作为突破口，将开发项目划分为多个模块，将每个模块分给指定的研究人员进行开发。
2．3群体软件工程
群体软件工程是通过网络的方式进行软件开发，具体的实施中采用工程众包的形式，使得软件开发技术发挥作用。群体软件工程是一个分布式软件开发模型，这个工程项目的运行中，可以通过网络实现，对各项任务进行分配，也可以进行创造性的查询，通过众包解决软件开发过程中遇到的一些困难和重要问题。同时，在软件工程开发过程中，软件工程可以在任何阶段通过众包进行开发[4]。
3大数据与软件工程技术的未来发展方向
3．1大数据与软件工程技术开放式的发展
大数据技术的主要前提是大量的数据流，需要技术不断地升级和创新，寻求开发的研究途径是非常必要的。计算机网络的发展意味着计算机可以在开放的环境中相互通信，共享数据资源，软件等信息的有效利用能力也会有所提升。通过网络运行可以增加利润，使得用户的各种需求得到满足，提高资源的利用率。
3．2大数据与软件工程技术融合到其他领域
软件工程技术在当今许多科学领域有着广泛的应用。由于软件工程技术给予各个领域非常大的帮助，从航空到生活中都发挥着软件工程技术的作用[5]。应用程序的运行，可以使用数据平台对信息进行收集并分析。比如，用户在进行股票交易的过程中应用大数据技术，可以使用软件工程技术构建数据模型，通过对数据模型的分析，预测股票的变化趋势。
4众包软件服务工程中的大数据技术
在软件开发过程中，必须有足够的硬件和软件基础来支持数据流，随着数据流的量逐渐增多，对硬件和软件就有了新的要求。专家学者在分析数据流的时候，还对在线服务进行了研究。数据流是重点内容，主要是对数据流的使用方法进行研究，对支撑数据流的软件和硬件进行研究[6]。从软件工程开发的角度而言，软件运行中都会产生大量的数据流，包括服务端、用户端等，都会有很多的数据信息产生，这些数据流对软件和硬件的使用寿命起到了决定性的作用。软件工程的开发中，要做好数据流的管理工作。有必要对原始数据进行深入的研究，为提高软件的使用寿命创造条件，对数据流的分析要高度重视[7]。
5密集型数据科研第四范式
第四种科学研究范式是指根据实际情况建立独立的科学研究方法，探索第四种范式的理论基础，以及大型数据存储设备在发展中的重要性。软件工程中，采用传统的大数据研究方法，大数据的有效分析是不可能的，大数据的研究还没有取得突破性的成果。因此，目前大多数软件不能在短时间内同时实现数据信息的存储、数据信息的传输和有效识别。在探索第四范式理论和研究方法的过程中，首先需要对集成大数据的软件服务价值进行估计，抛弃传统的大数据统计方法，建立新的大数据信息统计方法和分析方法[8]。此外，有必要从多个方面研究大数据的处理，对大数据信息进行管理并深入分析，讨论大数据的价值以及存在的可变性，这对软件工程的发展起着重要的作用。在研究软件工程技术的时候，必须更新传统的软件开发理念，重视软件处理和分析大数据能力的发展，使得软件产业呈现出新的发展面貌。
6结语
在当今大数据时代，软件工程技术的研究已经区域复杂。随着数据的指数的不断增长，软件技术对硬件设备数据处理能力产生一定的影响。因此，在对软件工程技术的研究中，就需要对大数据技术的特点进行研究，基于此研究软件工程技术，使得硬件设备的数据处理能力有所提高。在研发开发软件技术的过程中，要从应用领域的需求出发对大数据技术进行分析，在大数据开发理论的基础上创新软件开发理论，促进软件技术更好地发展。
