首页 > 文章中心 > 正文

矿山系统数据仓库建构探索

矿山系统数据仓库建构探索

空间数据仓库具有空间数据的海量特性

空间数据仓库是在普通空间数据库的基础上发展起来的,具备空间数据库管理系统应有的特点—海量特性:1)海量数据的存储管理能力。矿山系统空间数据涉及领域较广,而且随着时间推移,各级空间数据中心所采集的各种类型空间数据呈海量增长的态势,海量空间数据的存储、管理是空间数据仓库首先要解决的问题。2)海量数据的分析处理能力。海量数据的应用大多是基于网络的,数据的网络传输、处理的速度很关键,同时要考虑多用户并发访问的调控等问题。因此,应充分利用B/S、C/S的各自优势,相互补充的同时,更要有强大的客户端分析工具。3)海量数据的安全性。随着用户的增多,来自各个方面的各种安全隐患也会随之而增加,WEBGIS需要有完备的网络安全防范机制,除了防止系统受到侵害以外,还应根据不同的用户设置不同的权限。4)良好的数据备份保护性能,矿山系统是一个面向多领域多用户的应用和管理系统,空间数据仓库是一个综合体,在不同领域的应用过程中(如数据裁切等),很可能造成共享数据丢失。因此,系统数据要有良好的存储备份机制,防止出现故障后系统修复困难。

空间数据仓库建设概念设计

元数据

元数据主要用于描述基础地理数据库有关的基本信息、数据日志信息、空间数据表示信息、参照系统信息、数据质量信息、要素分层信息、发行信息和元数据参考信息等,元数据将对数据管理、空间数据建库起重要的作用,是空间数据仓库的重要组成部分。元数据的根本目的是描述源数据基本信息、空间数据仓库主要内容、数据变换及各种操作信息,促进数据的高效利用,另一个目的是解释数据,方便用户查询、了解空间数据仓库中的数据结构。通过元数据[2]可以检索、访问数据库,可以有效利用计算机的系统资源,可以对数据进行加工处理等。

源数据

自从山西省进行煤矿资源整合后,数字矿山项目面对的均为大型矿山,空间数据仓库为了支持高层决策分析生成的单个/集成数字产品需要大量的数据。这些数据除了是来源于不同单位使用不同时间开发出的软件或国际国内商品化软件生产的测绘数据外,另外还可以是高分辨率卫星影像、航空像片、数字高程模型以及按照统一坐标无缝拼接而成,可迅速建立基于真实影像的3维数字城市模型。总之,矿山数据的来源丰富,类型为多样式存储或分布式存储。这些异质异构的测绘数据及数字矿山新型数据为空间数据仓库提供数据源。

数据变换工具

为了充分利用空间数据仓库中的数据,源数据必须经过提炼、转换、空间变换将不同数据格式,不同分辨率,不同大小的数据融合以最适宜的方式进入空间数据仓库,实现异构数据源的相互操作及转换。数据提炼主要指数据的优化与抽取,如在保持数据的完整性和相容性的前提下,对数据项整理重构、去除冗余信息、同时补充不断涌出的新数据;数据转换是指在数据提炼整合的基础上,对新的动态数据根据统一数据编码和数据结构对数据集进行各种运算以及语义转换等;空间变换可以理解为对空间数据统一数据空间坐标和比例尺,数据转换工具对原始数据库和目标数据库中相对应的表里具有相同值域的同名数据字段能转换,不同的数据字段也能转换。对于某一具体的数据表,可以使用多个字段做任意组合的设定条件来转换数据,保证数据的一致性和完整性。例如,通过融合遥感影像、数字高程模型和地形数据,创建具有精确坐标的三维地形数据库。

空间数据仓库

目前空间数据的标准化仍然存在不少问题,还缺乏统一的标准和规范,缺乏地理信息的法规,各部门间缺乏必要的联系和协调,对于科学的分类和统计缺乏严格的定义,建立的系统数据杂乱,难以相互利用,信息得不到有效地交流和共享,将来源不同的各种异质异构数据按统一的标准和规范集成到一个数据库中,有利于空间数据的高效存储,使得在桌面应用程序中,用户可以浏览分析空间数据,并可以对其进行编辑。也可以在上面添加二维或者三维的物体、浏览路径、场景以及地理信息文件。也就是通过数字产品的融合使所创建的数据库相连接,并且可以在网络上。再通过服务器端软件,允许用户通过网络来访问地形数据库及其他数据库。

数字矿山空间数据仓库建设

数字矿山空间数据的变换

开发数据转换组件,能实现对各基层专业单位的格式进行转换、读取和无缝管理;对于短期内不会更新的数据,将shape文件、ArcSDE、OracleSpatial、SQLServer2008、PostGIS等空间数据要素进行处理,生成静态缓存;对于业务系统数据每天都在发生变更的数据,将ArcSDE、OracleSpatial、SQLServer2008、PostGIS存储的空间数据要素动态更新,当原始矢量数据更新之后,缓存能够随之更新。

数字矿山空间数据仓库元数据管理

元数据通常用以记录矿山常用知识及图件等数据的形成规律等。系统的元数据管理[3]要点如下:参照国家现有的空间元数据标准,建立山西数字煤矿空间元数据的结构模式;设计实现空间元数据库采集器、空间元数据服务器,实现空间元数据的输入、、查询等功能;设计空间元数据网关,实现不同网络协议的转换、客户访问、服务器注册管理以及网络客户管理等功能。要对各种测绘数据库实现数据变换以便按照统一标准对数据入库和从空间数据仓库中提取应用数据,就必须对来源广泛的源数据进行研究,建立空间数据仓库元数据标准体系。

数字矿山多维空间分析

在图1上层的应用系统中,将不同分辨率、不同大小的数据进行融合、投影变换,构成一个公共的参考投影,通过叠加融合航片、卫星影像、数字高程模型以及各种矢量地理数据(二维及三维信息),迅速方便地创建海量三维地形数据库。这些海量三维地形数据库加上时间信息,形成四维信息。用户可以实时创建自定义的虚拟三维可视化场景,并进行浏览、查询和分析。空间数据变换工具能够创建如同真实照片般的地理精准的三维地球模型。它可以对数据以其本身格式的方式进行融合来创建基于三维的地形模型,并提供给客户端进行数据层和其他内容的叠加。

本文作者:赵红艳作者单位:山西省煤炭资源地质局