ICCV 2023第1届感知测试挑战赛时间声定位任务的解决方案
声音
2024-07-03 v1 计算机视觉与模式识别
机器学习
音频与语音处理
摘要
本文提出了一种提高时序声定位质量的方法。我们采用多模态融合方法，将视觉特征和音频特征进行组合。采用最先进的自监督预训练网络提取高质量的视觉特征，实现了高效的视频特征表示。同时，音频特征作为补充信息，有助于模型更好地定位声音的起始和结束位置。融合后的特征在多尺度Transformer上进行训练。在最终测试数据集中，我们实现了0.33的平均精度（mAP），在该轨道中获得了第二名的最佳成绩。
关键词
引用
@article{arxiv.2407.02318,
title = {The Solution for Temporal Sound Localisation Task of ICCV 1st Perception Test Challenge 2023},
author = {Yurui Huang and Yang Yang and Shou Chen and Xiangyu Wu and Qingguo Chen and Jianfeng Lu},
journal= {arXiv preprint arXiv:2407.02318},
year = {2024}
}