基于自时空标签扩散的无监督雾天场景理解
计算机视觉与模式识别
2022-06-13 v1
摘要
理解驾驶场景中的雾天图像序列对自动驾驶至关重要，但由于难以收集和标注恶劣天气下的真实世界图像，这仍是一项具有挑战性的任务。近来，自训练策略被视为无监督域自适应的有力解决方案，它通过生成目标伪标签并重新训练模型，迭代地将模型从源域适配到目标域。然而，置信伪标签的选取不可避免地受到稀疏性与准确性之间冲突的影响，二者均会导致次优模型。为应对该问题，我们利用驾驶场景雾天图像序列的特性来稠化置信伪标签。具体而言，基于序列图像数据的局部空间相似性和相邻时间对应性这两点发现，我们提出了一种新颖的由目标域驱动的伪标签扩散（TDo-Dif）方案。它利用超像素和光流分别识别空间相似性和时间对应性，然后将置信但稀疏的伪标签在超像素内或为由流链接的时间对应对中进行扩散。此外，为确保扩散像素的特征相似性，我们在模型重训练阶段引入了局部空间相似性损失和时间对比损失。实验结果表明，我们的 TDo-Dif 方案帮助自适应模型在两个公开可用的自然雾天数据集（Foggy Zurich 和 Foggy Driving）上分别达到 51.92% 和 53.84% 的平均交并比（mIoU），超越了最先进的无监督域自适应语义分割方法。模型和数据集可在 https://github.com/velor2012/TDo-Dif 找到。
引用
@article{arxiv.2206.04879,
title = {Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label Diffusion},
author = {Liang Liao and Wenyi Chen and Jing Xiao and Zheng Wang and Chia-Wen Lin and Shin'ichi Satoh},
journal= {arXiv preprint arXiv:2206.04879},
year = {2022}
}
备注
IEEE Transactions on Image Processing 2022