Day2Dark:超越静默日光的伪监督活动识别
计算机视觉与模式识别
2023-08-29 v3
摘要
本文致力于在黑暗中以及白天识别活动。我们首先确定最先进的活动识别器在白天有效,但在黑暗中不可靠。主要原因是从中学习的标注暗光视频有限,以及测试时向低色彩对比度的分布偏移。为弥补标注暗光视频的缺乏,我们引入一种伪监督学习方案,利用易于获取的未标注且与任务无关的暗光视频来改进低光下的活动识别器。由于较低的色彩对比度导致视觉信息丢失,我们进一步提出纳入音频中对照明不变的互补活动信息。由于音频与视觉特征的效用随光照量不同而不同,我们引入了我们的“暗适应”音视频识别器。在 EPIC-Kitchens、Kinetics-Sound 和 Charades 上的实验表明,我们的方案优于图像增强、域适应和替代的音视频融合方法,甚至能改善对遮挡引起的局部黑暗的鲁棒性。项目页面:https://xiaobai1217.github.io/Day2Dark/
引用
@article{arxiv.2212.02053,
title = {Day2Dark: Pseudo-Supervised Activity Recognition beyond Silent Daylight},
author = {Yunhua Zhang and Hazel Doughty and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2212.02053},
year = {2023}
}
备注
Under review