Matsu Wheel:一种用于地球卫星影像高效分析与再分析的云框架
分布式、并行与集群计算
2016-11-18 v1 天体物理仪器与方法
摘要
Matsu项目是开放共享联盟(Open Commons Consortium)与NASA之间的合作,致力于开发用于地球卫星影像云端处理的开源技术。其特别侧重于开发用于火灾和洪水检测的应用,以协助自然灾害检测与救援。Matsu项目已开发了一个开源的云基础设施,利用OpenStack、Hadoop、MapReduce、Storm及相关技术来处理、分析和再分析大量高光谱卫星影像数据。我们描述了一种称为Matsu “Wheel”的用于高效分析海量数据的框架。Matsu Wheel目前用于处理NASA的地球观测-1(EO-1)卫星每日产生的高光谱卫星数据。该框架设计用于支持使用云计算应用(如Hadoop和Accumulo)的扫描查询。扫描查询处理数据库或数据存储库中的全部或大部分数据。我们还描述了初步的Wheel分析功能,包括用于高光谱数据中罕见光谱特征或热异常的异常检测器,以及可用于水和洪水检测的土地覆盖分类器。这些分析功能均能生成可通过网络供公众和相关决策者访问的可视化报告。分析结果产品也通过符合开放地理空间联盟(OGC)标准的网络地图服务(WMS)提供以进一步分发。Matsu Wheel允许许多共享数据服务协同执行,从而高效利用资源来处理高光谱卫星影像数据以及其他(例如)可能因多种目的而被分析的大型环境数据集。
引用
@article{arxiv.1602.06888,
title = {The Matsu Wheel: A Cloud-based Framework for Efficient Analysis and Reanalysis of Earth Satellite Imagery},
author = {Maria T Patterson and Nikolas Anderson and Collin Bennett and Jacob Bruggemann and Robert Grossman and Matthew Handy and Vuong Ly and Dan Mandl and Shane Pederson and Jim Pivarski and Ray Powell and Jonathan Spring and Walt Wells},
journal= {arXiv preprint arXiv:1602.06888},
year = {2016}
}
备注
10 pages, accepted for presentation to IEEE BigDataService 2016