EgoNight：面向夜间认知视觉理解的挑战性基准
计算机视觉与模式识别
2026-03-03 v2 人工智能
摘要
大多数现有基准主要关注白天情景，忽视了在实际应用中不可避免的低光条件。为调查这一差距，我们提出EgoNight，首个综合性夜间认知视觉基准，核心任务为视觉问答(VQA)。EgoNight的关键特征是引入日夜对齐视频，这些视频利用白天数据增强夜间标注质量，并揭示了不同照明条件下的性能差距。为此，我们收集了由Blender渲染的合成视频和真实世界的录制视频，确保场景和动作在视觉和时间上对齐。利用这些配对视频，我们构建了EgoNight-VQA，由一个新颖的日增强夜自标注引擎和通过广泛人工验证进行细化支持。每对QA都由标注员双重检查以确保可靠性。总计，EgoNight-VQA包含3658个QA对，覆盖90个视频，涵盖12种多样化的QA类型，耗时超过300小时。评估最先进的多模态大型语言模型(MLLMs)表明，从日间迁移到夜间会出现显著的性能下降，凸显了在低光条件下进行推理的挑战。除了VQA，EgoNight还引入了两个辅助任务：日夜对应检索和夜间 egocentric 深度估计，这些任务进一步探索了现有模型的边界。我们认为EgoNight-VQA为推动以应用为导向的认知视觉研究以及开发能够跨照明域泛化的模型提供了坚实的基础。代码和数据可在https://github.com/dehezhang2/EgoNight找到。
引用
@article{arxiv.2510.06218,
title = {EgoNight: Towards Egocentric Vision Understanding at Night with a Challenging Benchmark},
author = {Deheng Zhang and Yuqian Fu and Runyi Yang and Yang Miao and Tianwen Qian and Xu Zheng and Guolei Sun and Ajad Chhatkuli and Xuanjing Huang and Yu-Gang Jiang and Luc Van Gool and Danda Pani Paudel},
journal= {arXiv preprint arXiv:2510.06218},
year = {2026}
}
备注
Accepted by ICLR 2026