面向高分辨率卫星影像分析的工作流设计分析
分布式、并行与集群计算
2020-01-30 v2
摘要
生态科学正使用来自多种来源的影像来监测和调查种群与生态系统。甚高分辨率（VHR）卫星影像为大规模调查提供了有效的数据集。卷积神经网络（Convolutional Neural Networks）已成功用于分析此类影像并检测大型动物。随着数据集在体量上达到 O(TB)、图像数量上达到 O(1k)，利用高性能计算（HPC）资源变得必要。在本文中，我们研究了一种任务并行数据驱动工作流设计，以在 HPC 上支持具有异构任务的影像分析流水线。我们分析了每种设计在处理总计 4~TB 的 3,000 张 VHR 卫星影像数据集时的能力。我们对图像处理流水线各任务的执行时间进行了实验建模。我们开展实验以刻画每种设计的资源利用率、总完成时间和开销。基于模型、开销与利用率分析，我们展示了哪种设计方法最适合于具有类似特征的科学流水线。
引用
@article{arxiv.1905.09766,
title = {Workflow Design Analysis for High Resolution Satellite Image Analysis},
author = {Ioannis Paraskevakos and Matteo Turilli and Bento Collares Gonçalves and Heather J. Lynch and Shantenu Jha},
journal= {arXiv preprint arXiv:1905.09766},
year = {2020}
}
备注
10 pages