计算机数据论文基于GIS的海量气象数据预处理技术研究
这篇计算机数据论文发表了基于GIS的海量气象数据预处理技术研究,建立气象数据库有助于很好的解决大量的气象数据和问题，地理信息系统在气象气候领域中得到了应用，数据库的建立为更好的数据分析做了准备。
摘要：由于气象观测数据种类多，文件存储数目大，一般难以对海量气象数据进行深入的处理，挖掘和分析。该文通过对气象数据类型，文件种类等进行研究，通过建立气象数据库并连接GIS软件进行数据分析，较好的解决了海量数据分析和处理问题。该方法利用编程软件，数据库软件和GIS技术对海量气象数据进行预处理，为海量气象数据分析提供高效、精准的数据存储和管理。并最终将数据库直接连接入强大的分析处理软件ArcGis。经过测试表明，该方法可靠性和可操作性很强，成功实现了对海量气象数据的预处理。
关键词：计算机数据论文发表,GIS,数据库,气象数据,预处理,ArcGis
中图分类号：P409 文献标识码：A 文章编号：1009-3044(2015)07-0009-04
Abstract： Because meteorological observation data has more kinds and large number files to store. Generally ， Mass meteorological data is difficult to process ，mine and analyze for further. This paper introduces a method of data analysis through the establishment of meteorological database and the connection of GIS software， based on the type of meteorological data，file type and so on. It is better to solve the problems of massive data which should be analysed and processed. This method uses the programming software， database software and GIS technology to preprocess the massive meteorological data. It provides efficient and accurate data storage and management for mass analysis of meteorological data. And finally the database connects directly into the analysis software ArcGIS， which is good at data processing. According to test results， the reliability and maneuverability is very strong， it is successful to achieve the pre-processing of the massive meteorological data.
Key words： GIS; Database; Meteorological data; Pretreatment; ArcGis
1 引言
地理信息系统(GIS)作为一门重要的信息技术，近年来在气象气候领域内引起了广泛的关注并得到了初步应用。[1]特别是随着现代气象观探技术的迅速发展，各级气象业务部门可获得的气象数据容量越来越大，海量的气象数据背后隐藏许多重要信息。但是在传统的气象数据库应用系统中，用户无法发现气象数据中存在的某种关系和规则，同时缺乏发现气象数据背后隐藏知识手段，从而出现“数据爆炸而知识贫乏”现象。[2]此外气象数据库系统作为气象信息共享平台的重要管理系统，其体系结构和技术的复杂程度均是前所未有的，需要在集约化和标准化原则下，充分利用成熟的商业数据库技术和大气科学领域的相关技术加以构建。[3]而GIS技术具有很好的数据分析和海量数据支持的能力。本文将GIS引入气象领域，同时GIS在气象领域的应用也是一个新的尝试。利用GIS提高了气象数据管理的可视化程度和人机对话功能。[4] 尝试利用GIS技术为详细分析气象数据的组织结构、表达和处理方法做准备。[5]针对气象数据的存储和处理，目前有很多技术手段包括王杨刚等以面向对象的思想，运用C++技术设计并制作了自动气象站数据处理程序，它可以对22项气象数据进行预处理。[6]吴文玉以ArcGIS Desktop9.3为地理信息系统平台，通过在ArcGIS下与远程气象数据库的连接方法，将数据库数据直接应用到GIS中，实现GIS与气象数据库的数据融合，具有较强的实用性。[7]无论哪种方法对气象数据库系统的建设是气象信息系统(气象信息共享平台)建设的核心和基础。[8]所以最有效的保存和交流使用数据的途径就是应用计算机技术建立数据库系统来归整，管理这些重要气象数据。[9]然后直接连接GIS软件使用GIS技术对气象数据进行处理。因为地理信息系统技术可以将气象数据所具有的空间特征、属性特征及时间特征等特点较好地表现出来，是实现空间数据管理的有效手段。[10]本文通过对气象数据的文件类型，存储格式进行研究后提出了一条采用GIS技术对海量气象数据进行预处理的方法。
2 问题的提出
气象数据一般为多年的观测数据，数据的种类多，观测年限长，数据的存储文本文件多。如中国气象共享网下载的1970-2013年日值气象数据为例，数据时间跨度有44年，826个气象站台，分为7大类数据，超过15000天的观测数据，7000万行的记录数据，4亿多数据单元。数据总量达到5.9G之多。对海量气象数据进行存储，分析，管理和处理成为一个难题。目前的处理方式主要有两种方式：(1)在数据量不大的情况下，对数据进行人工筛选，然后导入Excel中进行处理。(2)根据要求通过编程实现对TXT格式的气象数据的处理。
气象数据的记录文件数量巨大，数据类型众多，文本格式数据的数据单元几乎都是采用空格的方式进行隔离，而Word无法对txt格式数据进行批量处理，Excel只能根据特殊符号或者根据一个空格一个格的形式进行数据导入而且数据的行数有限制也无法满足数据的批量入库和处理;利用编程的方式需要对数据进行大量的预处理，编程工作量较大。对于气象数据的分析往往需要地理信息数据，在现阶段基于GIS的气象数据预处理已经被广泛应用。针对于此，本文提出一种解决问题的思路：首先利用批处理命令处理文本数据，然后建立数据库并利用ArcSDE与ArcGIS相连实现数据的存储为数据分析做准备。
转载请注明来自：http://www.uuqikan.com/jisuanjiwangluolw/14940.html
