感知测试挑战2024的时间动作局部化任务解决方案
计算机视觉与模式识别
2024-10-15 v1 人工智能
摘要
本报告提出了我们的方法用于时间动作局部化（TAL），该方法聚焦于在视频序列的特定时间区间内识别和分类动作。我们采用数据增强技术，通过扩展使用Something-SomethingV2数据集中重叠标签来扩充训练数据集，从而增强模型在各种动作类别上的泛化能力。对于特征提取，我们利用最先进的模型，包括UMT、VideoMAEv2用于视频特征，以及BEATs和CAV-MAE用于音频特征。我们的做法涉及训练双模态（视频和音频）和单模态（仅视频）模型，然后通过加权盒子融合（WBF）方法组合其预测。这种融合策略确保了稳健的动作局部化。我们的整体方法获得了0.5498的分数，位列该竞赛第一名。
引用
@article{arxiv.2410.09088,
title = {The Solution for Temporal Action Localisation Task of Perception Test Challenge 2024},
author = {Yinan Han and Qingyuan Jiang and Hongming Mei and Yang Yang and Jinhui Tang},
journal= {arXiv preprint arXiv:2410.09088},
year = {2024}
}