面向夜间场景的鲁棒事件网络:通过非配对的日转夜事件翻译
计算机视觉与模式识别
2024-07-16 v1
摘要
事件相机具备高动态范围,确保在低光条件下仍能捕获场景。然而,夜间捕获的事件呈现不同于白天捕获的模式。这种差异导致仅使用白天事件训练的模型在夜间事件上表现下降。由于缺乏标注的夜间事件,这一局限仍然存在。为克服此限制,我们旨在通过将标注的白天数据翻译为夜间事件来缓解数据不平衡问题。然而,从不同模态生成事件挑战了再现其独特属性。因此,我们提出一种基于扩散 GAN 的非配对事件到事件日转夜翻译模型,有效学习从一个域映射到另一个域。该翻译模型利用小波分解和解缠卷积层对事件在时空维度进行分析。我们还提出一种基于新颖的随机抽样策略的时序对比学习,以正则化时序连续性。为验证所提方法的有效性,我们重新设计了用于评估非配对场景下翻译事件的指标,首次将其与事件模态对齐。我们的框架成功实现了日转夜事件翻译,保留了事件特性。此外,通过我们的翻译方法,我们促进了事件模式对夜间事件的学习,将标注的白天事件翻译为夜间事件。我们的方法有效缓解了将真实夜间事件应用于下游任务时的性能下降。代码已公开于 https://github.com/jeongyh98/UDNET。
引用
@article{arxiv.2407.10703,
title = {Towards Robust Event-based Networks for Nighttime via Unpaired Day-to-Night Event Translation},
author = {Yuhwan Jeong and Hoonhee Cho and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2407.10703},
year = {2024}
}
备注
Accepted by ECCV 2024