局部视觉麦克风：从无声视频中改进声音提取
计算机视觉与模式识别
2019-07-16 v1
摘要
声波会引起附近物体的微小振动。文献中已有若干技术可从视频中提取声音。本文研究不同图像位置处的局部振动模式。我们表明图像中不同位置的振动存在差异。我们仔细聚合局部振动，获得了优于当前最优（state-of-the-art）的声音质量。我们表明局部振动可能存在时间延迟，因为声波在空气中的传播需要时间。我们利用该现象估计声源方向。我们还提出了一种新算法，将声音提取速度提升二到三个数量级，并在 20KHz 视频中达到实时性能。
引用
@article{arxiv.1801.09436,
title = {Local Visual Microphones: Improved Sound Extraction from Silent Video},
author = {Mohammad Amin Shabani and Laleh Samadfam and Mohammad Amin Sadeghi},
journal= {arXiv preprint arXiv:1801.09436},
year = {2019}
}
备注
Accepted to BMVC 2017