ECCV 2024第二届感知测试挑战赛时间声音定位任务解决方案
声音
2024-10-01 v1 机器学习
音频与语音处理
摘要
本报告针对时间声音定位（TSL）任务提出了一种改进方法，该任务根据预定义的声音类别集合，定位并分类视频中发生的声音事件。去年首届竞赛的冠军解决方案通过以相同权重融合音频和视频模态来探索 TSL。考虑到 TSL 任务旨在定位声音事件，我们进行了相关实验，证明了声音特征的优越性（第 3 节）。基于我们的发现，为了增强音频模态特征，我们采用多种模型来提取音频特征，例如 InterVideo、CaVMAE 和 VideoMAE 模型。我们的方法在最终测试中以 0.4925 的得分排名第一。
引用
@article{arxiv.2409.19595,
title = {Solution for Temporal Sound Localisation Task of ECCV Second Perception Test Challenge 2024},
author = {Haowei Gu and Weihao Zhu and Yang Yang},
journal= {arXiv preprint arXiv:2409.19595},
year = {2024}
}