使用深度卷积神经网络进行缺失数据模态的城市土地覆盖分类
计算机视觉与模式识别
2018-05-10 v2
摘要
自动城市土地覆盖分类是遥感中的一个基本问题，例如用于环境监测。该问题极具挑战性，因为各类别通常具有较高的类间方差和较低的类内方差。提高遥感中城市土地覆盖分类性能的技术包括融合来自具有不同数据模态的不同传感器的数据。然而，此类技术要求在决策过程（即测试时）以及训练时，所有模态对分类器均可用。如果测试时缺失某种数据模态，当前最先进的方法通常没有可用的程序来利用这些模态的信息。这代表了对潜在有用信息的浪费。我们提出一种用于城市土地覆盖分类的卷积神经网络（CNN）架构作为补救措施，该架构能够将所有可用的训练模态嵌入到所谓的幻觉网络中。该网络实际上将在测试阶段替代缺失的数据模态，即使在测试时缺失数据模态也能实现融合能力。我们使用由光学图像和数字表面模型（DSM）图像组成的两个数据集来演示该方法。我们通过假设测试时DSM图像缺失来模拟缺失模态。我们的方法优于仅在光学图像上训练的标准CNN以及两个标准CNN的集成。我们进一步评估了我们的方法处理测试时仅部分DSM图像缺失情况的潜力。总体而言，我们表明可以在测试期间明确利用缺失模态的训练时信息。
引用
@article{arxiv.1709.07383,
title = {Urban Land Cover Classification with Missing Data Modalities Using Deep Convolutional Neural Networks},
author = {Michael Kampffmeyer and Arnt-Børre Salberg and Robert Jenssen},
journal= {arXiv preprint arXiv:1709.07383},
year = {2018}
}