计算机数据论文基于GIS的海量气象数据预处理技术研究(2)

3 解决问题的流程

气象数据是根据数据的类型，日期分批的按照TXT的格式进行存储并利用空格进行单元数据隔离。所以需要先对数据进行合并然后利用文本编辑软件对数据进行批量预处理，再利用MS Sql Server进行批量入库和存储，最后利用ArcSDE进行数据连接，批量接入ArcGIS进行数据处理，分析和挖掘。具体技术路线如图1所示。

4 气象数据处理流程

4.1 数据批量预处理

气象数据是根据数据的类型，日期分批的按照TXT的格式进行存储并利用空格进行单元数据隔离的。所以需要先对数据进行合并然后才能对数据进行批量预处理。此处可利用windows的TXT批量合并命令代码实现，使用下面的代码命令可以使的所在一个文件夹中的所有文本文件合并入一个命名为0.txt的文本文件中，具体代码如下所示。

for %%i in (*.txt) do type %%i>>0.txt

将该命令代码复制进文本文件中并将数据的格式名改为bat。

此处需先将气象数据中的数据按照数据的存储类型比如湿度，温度，气压等进行分批处理分别存储于不同的文件夹中，然后再进行数据合并。这样每一个气象类型中的0.txt文件都会存储着具有相同样式的行数据，便于高精确的批量处理。采用此种方法进行批量合并除了可以很好地进行数据预处理外，更重要的是非常简单高效，不需要任何复杂的编程和进行繁琐的软件操作。

4.2 用宏命令批量处理数据

对数据按照数据类型进行合并处理后，需要对单个数据单元进行精确分离，以便于后面的数据导入。此处可利用宏命令对隔离数据的空格利用逗号进行替换，实现所有数据单元按照逗号形式进行隔离。这样后面的数据入库将会全部按照逗号进行隔离入库，不会出现空格和数据存储的错位。可以大幅提高数据的精确性。

此处可以用 UltraEdit这款代码编辑器对每一个气象数据类型下的0.txt文件进行处理。由于每一个0.txt文件数据量都很大，如果直接利用windows自带的文本编辑器，容易导致编辑器崩溃，且显示格式凌乱不利于处理。其他的文本编辑器或者代码编辑器如 Notepad++，EditPlus等都存在着运行过慢或者数据量过大无法支持的问题。相关文本处理软件处理能力如表1所示：

利用UltraEdit启动宏命令后，利用宏录制下空格被逗号批量代替的过程和逗号被批量清理为一个数据单元一个逗号的过程形成宏命令。利用该命令就可以批量处理所有的0.txt文件实现所有数据的标准化，如图2所示。

数据导入完成后所有的气象数据按照地温、气压、蒸发、降水、湿度、日照、气温七类数据分表存储。可以根据需要对数据进行查询编辑输出需要的数据。由于每一个数据表中都含有对应的站点号、经度、纬度、高程，年、月、日数据。

4.4 数据库中的数据处理

由于气象数据中的经纬度数据值，是按照度分秒直接合并的，数据值不能直接使用，更不能实现对数据的直接操作，需要在数据库中对经纬度数据值进行批量处理，实现数据的标准化操作。

代码实现如下：

update EVP蒸发 set X=(经度值/100)+((经度值%100)/(60+0.0))

注：EVP蒸发为数据库中的表，X为处理完成后所赋值的经度值，经度值代表数据库中EVP蒸发的非正常显示经度数据值。

代码运行后，所获得的数据值，完全可以达到数据的操作要求。

4.5 利用ArcSDE连接气象数据库

ArcSDE是ArcGIS与关系数据库之间的GIS通道，它允许用户在多种数据管理系统中管理地理信息，并使所有的ArcGIS应用程序都能够使用这些数据。ArcSDE可以支持MS sql server，DBM，Oracle数据库。ArcSDE是一种数据连接方式，数据不需要经过繁杂的数据导入过程，而且可以保证数据的完整性。

打开ArcToolbox工具，选择数据管理工具-地理数据库管理-创建企业级地理数据库即可。为了连接已经建立的气象数据库我们在创建企业级数据库时，必须保证企业级地理数据库的实例名和数据名与气象数据库一致。

数据库连接完毕，在ArcGis中便可直接查看到气象数据库中的信息，可以直接进行数据挖掘和相关操作。

5 结束语

本文介绍了一种基于GIS的海量气象数据预处理方法。该方法直接实现了海量气象数据的分类入库和管理，解决了一般软件由于数据支持能力限制而无法对海量气象数据进行存储和分析的问题，该方法不需要进行复杂的编程、数据精确度高、数据更新方便和可操作性强，节约了编程开发的时间和成本。该方法解决了海量气象数据下的部分数据挖掘和数据分析的问题，为气象数据基于地理信息的空间化分析提供了数据准备。 [本文由wWw. dYLw.NE t提供，第 一论文 网专业职称论文和毕业 论文以及发表论文服务，欢迎光临DYlw.ne T]

参考文献：

[1] 吴焕萍.GIS技术在气象领域中的应用[J].气象，2010(3)：90-100.

[2] 李集明，王国复.气象数据库系统总体设计综述[J].气象科技，2007(S1)：1-5.

[3] 张波.数据挖掘在气象中的应用研究与实现[D].电子科技大学，2013.

转载请注明来自：http://www.uuqikan.com/jisuanjiwangluolw/14940.html