EventAug: 面向事件驱动学习的多维时空数据增强方法
计算机视觉与模式识别
2024-09-19 v1 人工智能
摘要
事件相机因其低时延和高动态范围,在广泛领域取得了显著成功。然而,该领域面临数据不足和多样性有限的挑战,常导致模型过拟合和特征学习不足。值得注意的是,在事件社区对数据增强技术的探索仍属稀缺。本工作旨在通过引入系统化的增强方案 EventAug 来丰富时空多样性。具体而言,我们首先提出多尺度时序集成(MSTI)以多样化物体运动速度,随后引入空间显著事件掩码(SSEM)和时序显著事件掩码(TSEM)以丰富物体变体。EventAug 可促使模型学习更丰富的运动模式、物体变体及局部时空关系,从而提高模型对不同运动速度、遮挡及动作中断的鲁棒性。实验结果表明,本增强方法在不同任务和不同骨干网络上均能显著提升性能(例如在 DVS128 Gesture 数据集上即可获得 4.87% 的准确率提升)。我们的代码将对该社区公开提供。
引用
@article{arxiv.2409.11813,
title = {EventAug: Multifaceted Spatio-Temporal Data Augmentation Methods for Event-based Learning},
author = {Yukun Tian and Hao Chen and Yongjian Deng and Feihong Shen and Kepan Liu and Wei You and Ziyang Zhang},
journal= {arXiv preprint arXiv:2409.11813},
year = {2024}
}