解耦而后解析：基于光照解耦的夜间语义分割
计算机视觉与模式识别
2023-07-20 v2
摘要
大多数已有的语义分割方法都是针对白天场景开发的，由于光照不足且复杂，它们在夜间场景中通常表现不佳。在本工作中，我们通过提出一种新颖的夜间语义分割范式，即解耦而后解析（DTP），来应对这一挑战。DTP 将夜间图像显式解耦为光照不变的反射分量和光照特定的光照分量，然后基于其自适应融合来识别语义。具体而言，所提出的 DTP 包含两个关键组件：1）与先前工作处理受光照纠缠的特征不同，我们的语义导向解耦（SOD）框架能够提取反射分量而不受光照阻碍，使网络在多变且复杂光照条件的掩盖下仍能一致地识别语义。2）基于光照分量可作为某些语义混淆区域线索的观察，我们进一步引入光照感知解析器（IAParser）来显式学习语义与光照之间的相关性，并聚合光照特征以产生更精确的预测。在多种设定下的夜间分割任务上的大量实验表明，DTP 显著优于最先进的方法。此外，以可忽略的额外参数，DTP 可直接用于提升已有的白天方法在夜间分割上的表现。
引用
@article{arxiv.2307.09362,
title = {Disentangle then Parse:Night-time Semantic Segmentation with Illumination Disentanglement},
author = {Zhixiang Wei and Lin Chen and Tao Tu and Huaian Chen and Pengyang Ling and Yi Jin},
journal= {arXiv preprint arXiv:2307.09362},
year = {2023}
}
备注
Accepted by ICCV2023