变化检测遇见视觉问答
计算机视觉与模式识别
2022-12-07 v2
摘要
地球表面持续变化，识别变化在城市规划与可持续发展中起着重要作用。尽管变化检测技术已成功发展多年，这些技术仍局限于相关领域的专家与辅助人员。为了让每位用户都能灵活获取变化信息并帮助他们更好地理解地表覆盖变化，我们引入了一项新任务：基于多时相航空影像的变化检测视觉问答（CDVQA）。具体而言，可根据两幅输入影像之间的内容变化对多时相影像进行查询，以获得基于变化的高层信息。我们首先使用自动问答生成方法构建了一个包含多时相影像-问题-答案三元组的 CDVQA 数据集。随后，本文设计了一个基线 CDVQA 框架，其包含四个部分：多时相特征编码、多时相融合、多模态融合与答案预测。此外，我们还在多时相特征编码中引入了一个变化增强模块，旨在融入更多与变化相关的信息。最后，我们研究了不同骨干网络与多时相融合策略对 CDVQA 任务性能的影响。实验结果为开发更好的 CDVQA 模型提供了有益见解，这对未来该任务的研究十分重要。
引用
@article{arxiv.2112.06343,
title = {Change Detection Meets Visual Question Answering},
author = {Zhenghang Yuan and Lichao Mou and Zhitong Xiong and Xiaoxiang Zhu},
journal= {arXiv preprint arXiv:2112.06343},
year = {2022}
}