中文

LoLI-Street:低光图像增强基准及超越

计算机视觉与模式识别 2024-10-15 v1 人工智能 计算工程、金融与科学

摘要

低光图像增强(LLIE)对于众多计算机视觉任务至关重要,包括目标检测、跟踪、分割和场景理解。尽管在改善欠曝条件下捕获的低质量图像方面已有大量研究,但对于经常面临低光场景的自动驾驶车辆而言,清晰的视觉仍然至关重要,这凸显了持续研究的必要性。然而,用于LLIE的配对数据集,尤其是街道场景的配对数据集,十分稀缺,限制了鲁棒LLIE方法的发展。尽管使用了先进的Transformer和/或基于扩散的模型,当前的LLIE方法在现实低光条件下仍表现不佳,并且缺乏在街道场景数据集上的训练,限制了其在自动驾驶车辆中的有效性。为弥补这些差距,我们引入了一个新的数据集LoLI-Street(街道低光图像),其中包含来自发达城市街道场景的33,000对低光和良好曝光图像,覆盖了19,000个用于目标检测的目标类别。LoLI-Street数据集还包含1,000张真实低光测试图像,用于在现实条件下测试LLIE模型。此外,我们提出了一种基于Transformer和扩散的LLIE模型,名为“TriFuse”。利用LoLI-Street数据集,我们训练并评估了我们的TriFuse模型及SOTA模型,以在我们的数据集上进行基准测试。通过比较各种模型,我们的数据集在不同主流数据集上的测试中展现出良好的泛化能力,显著提升了图像质量和目标检测性能,可实际应用于自动驾驶和监控系统。完整代码和数据集可在 https://github.com/tanvirnwu/TriFuse 获取。

关键词

引用

@article{arxiv.2410.09831,
  title  = {LoLI-Street: Benchmarking Low-Light Image Enhancement and Beyond},
  author = {Md Tanvir Islam and Inzamamul Alam and Simon S. Woo and Saeed Anwar and IK Hyun Lee and Khan Muhammad},
  journal= {arXiv preprint arXiv:2410.09831},
  year   = {2024}
}

备注

Accepted by the Asian Conference on Computer Vision (ACCV 2024)