See through the Dark:学习照明关联表征用于夜间 occupancy 预测
计算机视觉与模式识别
2025-10-23 v3
摘要
占有率预测旨在估计占用区域的3D空间分布及其对应的语义标签。现有的基于视觉的方法在白天基准测试上表现良好,但在夜间场景由于可见性受限和光照条件挑战性大,难以取得好结果。为此,我们提出了LIAR——一种学习照明关联表征的新型框架。LIAR首先引入选择性低光图像增强(SLLIE),该方法利用白天场景中的照明先验,自适应确定夜间图像是真正暗色还是光线足够,从而实现更有针对性的全局增强。基于SLLIE生成的照明图,LIAR进一步包含两种照明感知组件:2D照明引导抽样(2D-IGS)和3D照明驱动投影(3D-IDP),分别处理局部欠曝和过曝。具体而言,2D-IGS根据照明图调制特征抽样位置,为暗部区域分配更大偏移量,为亮部区域分配较小偏移量,从而减轻欠曝区域的特征退化。随后,3D-IDP通过构建照明强度场,为BEV语境细化过程提供精炼的残差查询,从而增强过曝区域的语义理解。在大量真实和合成数据上的实验表明,LIAR在挑战性的夜间场景下表现优异。源代码和预训练模型已公开[此处](https://github.com/yanzq95/LIAR)。
引用
@article{arxiv.2505.20641,
title = {See through the Dark: Learning Illumination-affined Representations for Nighttime Occupancy Prediction},
author = {Yuan Wu and Zhiqiang Yan and Yigong Zhang and Xiang Li and Jian Yang},
journal= {arXiv preprint arXiv:2505.20641},
year = {2025}
}