Sound-Word2Vec：学习基于声音的词表示
计算与语言
2017-08-30 v4 人工智能
声音
摘要
为了能够更好地与人类交互，机器理解声音——人类感知的一个主要模态——至关重要。先前的工作已利用声音来学习词嵌入，以改进通用的文本相似性评估。在这项工作中，我们将声音视为一等公民，研究需要听觉基础的下游文本任务。为此，我们提出了 sound-word2vec——一种新的嵌入方案，它学习基于声音的专用词嵌入。例如，我们学习到两个看似（语义上）不相关的概念，如树叶和纸张，由于它们发出的相似沙沙声而变得相似。我们的嵌入在需要听觉推理的文本任务中证明是有用的，例如基于文本的声音检索和发现拟音音效（用于电影中）。此外，我们的嵌入空间捕获了单词与拟声词之间有趣的依赖关系，并在听觉相关的词关联数据集（如 AMEN 和 ASLex）上优于先前的工作。
引用
@article{arxiv.1703.01720,
title = {Sound-Word2Vec: Learning Word Representations Grounded in Sounds},
author = {Ashwin K Vijayakumar and Ramakrishna Vedantam and Devi Parikh},
journal= {arXiv preprint arXiv:1703.01720},
year = {2017}
}
备注
Accepted at EMNLP 2017. Contains 6 pages; 3 tables; 1 figure