变化感知Transformer：学习广义的变化表征
计算机视觉与模式识别
2023-09-26 v1
摘要
通过对比两时相图像所获得的差异特征在变化检测（CD）任务中起着不可或缺的作用。然而，一对双时相图像可能呈现多样的变化，从而导致各种差异特征。因此，将具有不同差异特征的变化像素识别为同一类别对CD而言是一项挑战。当前大多数方法以隐式方式获取显著差异特征，如增强图像表征或监督信息。尽管如此，信息丰富的图像特征仅能保证对象语义被建模，而无法保证变化像素在差异特征空间中具有相似语义并与未变化像素相区分。本工作中，我们在差异特征空间中直接学习各种变化的广义表征，并提出一种用于精炼差异特征的新型变化感知Transformer（CAT）。该广义表征能够感知哪些像素发生变化、哪些未发生变化，并进一步引导像素差异特征的更新。CAT通过堆叠的余弦交叉注意力层与自注意力层有效完成此精炼过程。精炼后，差异特征空间中的变化像素彼此更为接近，从而便于变化检测。此外，CAT兼容多种骨干网络与现有CD方法。在遥感CD数据集与街景CD数据集上的实验表明，我们的方法取得了最先进的性能并具备优异的泛化能力。
引用
@article{arxiv.2309.13619,
title = {Changes-Aware Transformer: Learning Generalized Changes Representation},
author = {Dan Wang and Licheng Jiao and Jie Chen and Shuyuan Yang and Fang Liu},
journal= {arXiv preprint arXiv:2309.13619},
year = {2023}
}