视觉指示的声音
计算机视觉与模式识别
2016-05-03 v2 机器学习
声音
摘要
物体在被击打或刮擦时会发出独特的声音。这些声音揭示了物体材料属性的各个方面，以及产生声音的动作。在本文中，我们提出预测物体被击打时发出什么声音的任务，作为研究视觉场景中物理交互的一种方式。我们提出了一种算法，从人们用鼓槌击打和刮擦物体的无声视频中合成声音。该算法使用循环神经网络从视频中预测声音特征，然后通过基于示例的合成过程从这些特征生成波形。我们表明，我们的模型预测的声音足够真实，能够在“真实或虚假”的心理物理实验中欺骗参与者，并且它们传达了关于材料属性和物理交互的重要信息。
引用
@article{arxiv.1512.08512,
title = {Visually Indicated Sounds},
author = {Andrew Owens and Phillip Isola and Josh McDermott and Antonio Torralba and Edward H. Adelson and William T. Freeman},
journal= {arXiv preprint arXiv:1512.08512},
year = {2016}
}