基于差分的自监督预训练用于场景变化检测
计算机视觉与模式识别
2022-08-12 v1
摘要
场景变化检测（SCD）是一项关键的感知任务，通过比较不同时间捕获的场景来识别变化。由于一对视图之间存在光照、季节变化和视角差异等噪声变化，SCD 具有挑战性。基于深度神经网络的解决方案需要大量标注数据，而获取这些数据繁琐且昂贵。另一方面，从大型数据集进行迁移学习会引发域偏移。为应对这些挑战，我们提出了一种新颖的“差分自监督预训练（DSP）”方法，该方法利用特征差分学习对应于变化区域的判别性表示，同时通过在不同视图间强制时间不变性来同时应对噪声变化。我们在 SCD 数据集上的实验结果证明了我们方法的有效性，特别是在相机视角和光照条件存在差异的情况下。与自监督的 Barlow Twins 以及使用超过一百万张额外标注图像的 standard ImageNet 预训练相比，DSP 无需使用任何额外数据即可超越它们。我们的结果还证明了 DSP 对自然损坏、分布偏移以及在有限标注数据下学习的鲁棒性。
引用
@article{arxiv.2208.05838,
title = {Differencing based Self-supervised pretraining for Scene Change Detection},
author = {Vijaya Raghavan T. Ramkumar and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2208.05838},
year = {2022}
}
备注
Published at Conference on Lifelong Learning Agents (CoLLAs 2022)