TogetherNet：通过动态增强学习桥接图像复原与目标检测

雾、雨、雪等恶劣天气条件常会损害所拍摄图像的质量，导致在正常图像上训练的检测网络在这些场景下泛化性能差。在本文中，我们提出一个引人深思的问题——若将图像复原与目标检测相结合，能否提升前沿检测器在恶劣天气条件下的性能。为回答该问题，我们提出了一种有效且统一的检测范式，通过动态增强学习将这两个子任务桥接在一起以在恶劣天气条件下辨识物体，称为 TogetherNet。不同于现有直观地将图像去雾/去雨作为预处理步骤的做法，TogetherNet 将问题视为多任务联合学习。遵循联合学习方案，由复原网络生成的干净特征可被共享，以在检测网络中学习更好的目标检测，从而帮助 TogetherNet 增强在恶劣天气条件下的检测能力。除联合学习架构外，我们设计了一个新的动态 Transformer 特征增强模块，以提升 TogetherNet 的特征提取与表示能力。在合成与真实世界数据集上的大量实验表明，我们的 TogetherNet 在定量与定性上均大幅优于最先进的检测方案。源代码见 https://github.com/yz-wang/TogetherNet。