利用可学习频率提升夜间场景解析性能
计算机视觉与模式识别
2023-04-14 v1
摘要
夜间场景解析(NTSP)对许多视觉应用至关重要，尤其是自动驾驶。现有多数方法针对白天场景解析而提出，依赖于在均匀光照下对基于像素强度的空间上下文线索进行建模。因此，这些方法在夜间场景中表现不佳，因为此类空间上下文线索被埋没于夜间场景的过曝与欠曝区域中。本文中，我们首先开展基于图像频率的统计实验以解释白天与夜间场景的差异。我们发现白天与夜间场景的图像频率分布存在显著差异，且理解此类频率分布对 NTSP 问题至关重要。基于此，我们提出利用图像频率分布进行夜间场景解析。首先，我们提出可学习频率编码器(LFE)来建模不同频率系数间的关系，以动态度量所有频率分量。其次，我们提出空间频率融合模块(SFF)，融合空间与频率信息以引导空间上下文特征的提取。大量实验表明，我们的方法在 NightCity、NightCity+ 与 BDD100K-night 数据集上优于当前最优方法。此外，我们证明所提方法可应用于现有白天场景解析方法并提升其在夜间场景上的性能。
引用
@article{arxiv.2208.14241,
title = {Boosting Night-time Scene Parsing with Learnable Frequency},
author = {Zhifeng Xie and Sen Wang and Ke Xu and Zhizhong Zhang and Xin Tan and Yuan Xie and Lizhuang Ma},
journal= {arXiv preprint arXiv:2208.14241},
year = {2023}
}