多时相图像超分辨率中的置换不变性与不确定性
图像与视频处理
2022-05-04 v1 计算机视觉与模式识别
摘要
近期进展表明，深度神经网络在从多时相低分辨率图像集合出发对遥感影像进行超分辨率重建时可以极为有效。然而，现有模型忽视了时间置换问题，即输入图像的时间顺序对该超分辨率任务不携带任何相关信息，并导致此类模型在可用于训练的（通常稀缺的）真值数据上效率低下。因此，模型不应学习依赖于时间顺序的特征提取器。本文中，我们展示了构建一个完全时间置换不变的模型如何显著提升性能与数据效率。此外，我们研究了如何量化超分辨率图像的不确定性，以使最终用户了解产品的局部质量。我们展示了不确定性如何与该序列中的时间变化相关联，以及量化不确定性如何进一步提升模型性能。在 Proba-V 挑战数据集上的实验表明，无需自集成即可取得优于当前最优（SOTA）的显著改进，且数据效率更高，仅用 25% 的训练数据便达到了挑战赛冠军的性能。
引用
@article{arxiv.2105.12409,
title = {Permutation invariance and uncertainty in multitemporal image super-resolution},
author = {Diego Valsesia and Enrico Magli},
journal= {arXiv preprint arXiv:2105.12409},
year = {2022}
}