基于多域注意力网络的无监督 RGB 到热成像域自适应
计算机视觉与模式识别
2022-10-11 v1 机器人学
摘要
本工作提出一种新方法，利用多域注意力网络从 RGB 域迁移知识，实现无监督热成像图像分类与语义分割。我们的方法不需要任何热成像标注或配准的 RGB-热成像图像对，使机器人能在夜间及恶劣气象条件下执行视觉任务，而无需承担数据标注与配准的额外成本。当前无监督域自适应方法试图跨域对齐全局图像或特征。然而，当跨模态数据的域偏移显著更大时，并非所有特征都可迁移。我们通过使用促进泛化的共享骨干网络，以及通过关注域不变且易迁移特征来减少负迁移的域特定注意力，解决了该问题。我们的方法在分类基准上优于最先进的 RGB 到热成像自适应方法，并仅使用合成 RGB 图像成功应用于热成像河流场景分割。我们的代码公开于 https://github.com/ganlumomo/thermal-uda-attention。
引用
@article{arxiv.2210.04367,
title = {Unsupervised RGB-to-Thermal Domain Adaptation via Multi-Domain Attention Network},
author = {Lu Gan and Connor Lee and Soon-Jo Chung},
journal= {arXiv preprint arXiv:2210.04367},
year = {2022}
}