OwlSight：面向暗光视频人类动作识别的鲁棒亮度适应框架
计算机视觉与模式识别
2025-04-01 v1
摘要
在低光环境中进行人类动作识别对于各种实际应用至关重要。然而，现有方法忽略了在训练阶段充分利用亮度信息，导致性能不佳。为此，我们提出了 OwlSight，一种受生物仿生启发的框架，采用全阶段亮度增强以与动作分类交互，从而实现对暗光视频人类动作识别的准确性。具体而言，OwlSight 包含一个 Time-Consistency Module (TCM) 以捕获浅层时空特征，同时保持时间一致性，这些特征随后被处理 by 一个 Luminance Adaptation Module (LAM)，以基于输入亮度分布动态调整亮度。此外，我们提出了一个 Reflect Augmentation Module (RAM)，以最大化亮度利用率，同时通过两个交互路径增强动作识别。我们构建了 Dark-101，一个大规模数据集，包含 18,310 个暗光视频，覆盖 101 个动作类别，显著超过现有数据集 (如 ARID1.5 和 Dark-48) 在规模和多样性方面的表现。广泛的实验表明，所提出的 OwlSight 在四个低光动作识别基准上实现了最先进的性能。值得注意的是，它在 ARID1.5 上的性能比以前的最佳方法提高了 5.36%，在 Dark-101 上的性能提高了 1.72%，突显了其在恶劣暗光环境中的有效性。
关键词
引用
@article{arxiv.2503.23266,
title = {OwlSight: A Robust Illumination Adaptation Framework for Dark Video Human Action Recognition},
author = {Shihao Cheng and Jinlu Zhang and Yue Liu and Zhigang Tu},
journal= {arXiv preprint arXiv:2503.23266},
year = {2025}
}