首页 > 文章中心 > 正文

创建气象信息数据仓库的必要性和实用性

创建气象信息数据仓库的必要性和实用性

摘要:本文通过简单概述数据仓库的概念、与数据库的区别,从现代气象服务工作的需要和部门联动合作的需要分析说明了建设地市级气象信息数据仓库的必要性,从数据源、建设数据仓库的软硬件以及人才方面说明现在着手建设地市级气象信息数据仓库的可行性。

关键词:数据仓库;数据库系统;气象服务;决策服务;OLAP;DM

1数据仓库概述

数据仓库(DataWarehouse)的概念是Inmon-1J首先提出来的,将数据仓库定义为一个支持管理决策过程的、面向主题的、集成的、稳定的、随时间而变的数据集合[1]。数据仓库的产生是信息技术发展的必然结果,数据仓库是在数据库的基础上发展起来的,又不同于数据库:数据库用于事务处理,数据仓库用于决策分析,数据仓库往往还要包括相应的数据分析工具,比如联机分析处理(OLAP,On—LineAnalysisProcess)和数据挖掘(DM,DataMining)系统等。联机分析处理(OLAP)是将决策支持功能与传统的联机事务处理功能(OLTP)明显区分开来,它从人类分析数据的一般规律出发,形成了基于多维分析的决策支持工具[1]。

综合对数据仓库的各种理解,可以认为数据仓库是一种体系结构、一种环境,最大的特点是它的主题性,将来自各种数据源的数据进行统一与综合按照主题进行组织,包含大量的历史数据,为管理决策活动提供支持。基于对数据仓库的理解,提出的地市级气象信息数据仓库简单结构图如图1所示。

2地市级气象资料数据存贮现状

地市级气象局担负着管理、收集和转发所管辖县市台站的观测资料的任务,同时也担负着管理、收集和转发来自省级气象局及中国气象局的气象资料(如全国观测数据、卫星云图等),这些资料在气象预报和气象服务中起到关键性的作用。地市级气象局一直很重视对这些资料的存档,长期以来积蓄了海量的气象资料数据,但这些资料的绝大部分仍然采用报文文件或普通文件的形式保存,只有小部分(如自动站)用数据库的形式保存。地市级气象局在这种数据库应用缺乏的状况下,对历史气象资料的查询比较繁杂,气象数据的开发应用较为艰难。针对当前地市级气象信息资料存储的现状,建设地市级气象信息数据仓库对推进气象事业的发展和提高气象服务水平以及丰富气象服务手段是非常必要和迫切的,同时对信息资料的共享应用会有很大的促进作用。

3建设地市级气象信息数据仓库的必要性

3.1气象决策服务的迫切需要随着科技和经济的飞快发展,气象服务对各行各业的影响却越来越强烈,加上人类社会在现代化的过程中造成的环境破坏对气候的影响,使得天气气候环境越来越恶劣,极端天气越来越频繁,破坏力越来越大。基于气象灾害对经济社会造成的巨大损害,各级政府和相关部门对气象事业越来越重视,单一的天气预报服务明显已经不能满足政府及相关部门的决策要求。需要有一个气象防灾减灾决策平台,该平台要综合各种气象、水汶、地质、交通、农时等要素,要对每次天气过程都能进行分析推理出可能造成的灾害并提前预警,尽可能早的在灾害发生前为决策部门提供建议,预防和减少气象灾害造成的损害。而气象防灾减灾决策平台的建设必须要有气象信息数据仓库的支持。因此说气象信息数据仓库的建设是气象部门为地方决策部门提供气象决策服务的现实需要。

3.2公众气象服务的需要我国经济的持续高速发展,正大步带领我们全面跨入小康社会,随着生活水平的提高,人们就越来越注重自己的生活质量。人们的生活水平越高,对天气气候的关注度就会越高,过去,通过电视或电台播出的《天气预报》节目作为公众获取天气信息的单一渠道,为公众气象服务做出了不可磨灭的贡献,但随着信息社会的到来,它早已不能满足公众对天气信息的需求,人们需要更多更方便的渠道获取更多的、更详细的、更准确的、更及时的天气气象信息。现代通信网络技术,使公众可以通过手机短信、气象网站,电子显示屏等多种渠道获取气象信息,但是,要为公众提供这些渠道必须要有数据仓库的支持才能实现。因此,气象信息数据仓库的建设是保障公众的生活质量,为公众气象服务提供多种渠道的需要。

3.3多部门联动合作的需要气象科学数据是国家重要的基础性、公益性科学数据资源,是我国历史年代最长、保存最完整、最系统的地球信息资源之一。中国气象局宇如聪副局长2010年4月8日在京召开的气象信息共享(同城用户)座谈会表示:做好气象信息共享,是最大程度发挥信息资源使用效率,建立部门间紧密合作和有效联动机制的重要基础,是提高天气预报准确率和公共气象服务能力的关键所在。

在地市一级,政府、交通、农业、水利、水汶等各部门希望气象信息在防灾减灾、决策部署等方面发挥更重要作用,希望加强与气象部门联动合作,要达到上述目的,需要继续推进气象科学数据共享工作,进一步完善气象信息网络系统及基础信息支撑平台和部门间合作机制,针对不同的部门和不同的主题,加工共享数据,建设地市级气象信息数据仓库,开发建设防灾减灾决策平台和公众气象服务平台,以达到气象信息数据共享的目的,最大程度发挥信息资源使用效率。

4建设地市级气象信息数据仓库的可行性

4.1数据源数据仓库的基本组成元素就是数据,因此要建设仓库就必须要有充足的数据源,数据仓库的数据存储系统任务就是将数据从各数据源抽取出来,转换为分析型数据,存储并提供数据检索和管理的界面。气象科学数据是国家重要的基础性、公益性科学数据资源,是我国历史年代最长、保存最完整、最系统的地球信息资源之一。气象产业属于高科技产业,要用先进科技进行分析预测,历来就非常注重对各种气象数据要素的开发应用和保存。只要有需要,我们就可以查询到历史上任何层开展过的气象业务的数据,从初期的简单的气温、气压、风向、风速资料到现在的卫星、自动站资料等等。对于决策平台需要的地理信息、水汶、交通等数据,我们可以通过部门联动、数据共享获取。因此,建设气象数据仓库的数据源非常丰富充足。

4.2数据库系统建设数据仓库的出现,并不是要取代数据库。目前,大部分数据仓库还是用数据库管理系统来管理的[2]。因此,建设数据仓库的主要是建设数据库管理系统,包括软件和硬件两部分,软件主要有MSSQLSERVER、Oracle、IBM、MySQL、Sybase等。综合数据、流量、用户等规模,地市级气象信息数据库系统应属于中小型,建议选择MSSQLSERVER,因为在WINDOWS上运行的数据库应用系统,微软的数据库是最好的选择,而且微软的数据库系统是最容易使用和掌握的产品之一,拥有中文界面和帮助系统,T-SQL也附有例子和中文解释,而且用户群庞大,交流很方便,能够在相对短的时间内上手。硬件方面就是就是一台计算机数据服务器。

4.3人才需求数据仓库的构建是纯粹的技术工作,相关的技术人才的培养是是否能成功构建和构建质量好坏的关键。要建设数据仓库,首先至少要有一名能熟练掌握应用数据库系统的人才,他们负责数据库系统的构建和管理,包括按主题要求构建数据库及其数据结构,针对决策过程的要求对数据源中的操作型原始数据进行进一步加工处理并按主题(即在分析数据时经常用到的各种概念)重新组织,使它们成为便于分析的数据,即分析型数据,从而大大提高分析数据的效率。其次是需要开发服务平台的程序员。地市级气象部门在软件开发方面的人才水平是比较高的,在此基础上针对建设和管理数据仓库方面的人才需求加大在该面的人才培养力度,对于成功建设地市级气象信息数据仓库在人才方面提供保障。

5结束语

建设地市级气象数据仓库是建设现代气象服务系统平台(决策气象服务、公众气象服务、专业气象服务等)的需要,也是各部门数据共享、联动合作的需要,我们也有建设数据仓库所必须的充足的、丰富的气象数据资源,通过项目合作建设经费应该也不难解决。为了提高地市级气象服务水平,以适应现代化经济社会对气象服务的高要求,地市级气象部门有必要早日开始着手气象数据仓库建设的相关事宜,为防灾减灾提供更加丰富的服务手段。