基于注意力的跨模态融合用于音乐视频流中的视听语音活动检测

许多以往的视听语音相关工作聚焦于言语，忽略了互联网上日益增长的音乐视频流中的歌唱声。为处理多样的音乐视频数据，语音活动检测是必要步骤。本文尝试利用视听信息检测音乐视频流中目标表演者的言语与歌唱声。为整合音频与视觉模态的信息，提出一种多分支网络以学习音频与图像表示，并基于语义相似度通过注意力将表示融合，借助锚定发声概率塑造声学表示。实验表明，所提出的视听多分支网络在挑战性声学环境中远优于仅音频模型，表明基于语义关联的跨模态信息融合是合理且成功的。