面向夜间彩色-热成像语义分割的测试时自适应
计算机视觉与模式识别
2023-12-01 v2
摘要
在恶劣视觉条件（如夜间）下进行场景理解的能力，引发了针对 RGB-热成像（RGB-T）语义分割的活跃研究。然而，其本质上受两个关键问题阻碍：1）RGB 图像的昼夜差异大于热成像图像；2）夜间 RGB 图像按类别的性能并非一致地高于或低于热成像图像。我们提出首个测试时自适应（TTA）框架，称为 Night-TTA，以解决夜间 RGBT 语义分割问题，且在自适应过程中无需访问源（日间）数据。我们的方法包含三个关键技术部分。首先，由于某一模态（如 RGB）所受域差异大于另一模态（如热成像），成像异质性精炼（IHR）在 RGB 与热成像分支基础上采用交互分支，以防止跨模态差异与性能退化。随后，引入类别感知精炼（CAR），基于三个分支的像素级分布聚合获得可靠的集成 logits。此外，我们还为 TTA 框架设计了特定学习方案，使集成 logits 与三个学生 logits 能够协作学习，在 Night TTA 测试阶段提升预测质量。大量实验表明，我们的方法取得了最先进（SoTA）性能，mIoU 提升达 13.07%。
引用
@article{arxiv.2307.04470,
title = {Test-Time Adaptation for Nighttime Color-Thermal Semantic Segmentation},
author = {Yexin Liu and Weiming Zhang and Guoyang Zhao and Jinjing Zhu and Athanasios Vasilakos and Lin Wang},
journal= {arXiv preprint arXiv:2307.04470},
year = {2023}
}
备注
Accepted to IEEE Transactions on Artificial Intelligence