运动的声音
计算机视觉与模式识别
2019-04-16 v1 声音
音频与语音处理
摘要
声音源于物体的运动和周围空气的振动。受人类能够从物体视觉运动方式中解读出声源这一事实的启发，我们提出了一种新颖的系统，该系统显式地捕捉此类运动线索，用于声音定位与分离任务。我们的系统由一个名为 Deep Dense Trajectory (DDT) 的端到端可学习模型和一种课程学习方案组成。它利用了大量无标签视频中视听信号的内在一致性。定量和定性评估表明，与以往依赖视觉外观线索的模型相比，我们基于运动的系统在分离乐器声音方面提高了性能。此外，它还能从同类乐器的二重奏中分离出声音成分，这是一个以前未被解决的挑战性问题。
引用
@article{arxiv.1904.05979,
title = {The Sound of Motions},
author = {Hang Zhao and Chuang Gan and Wei-Chiu Ma and Antonio Torralba},
journal= {arXiv preprint arXiv:1904.05979},
year = {2019}
}