Spoken Word2Vec：从语音中学习 Skipgram 嵌入
计算与语言
2024-07-03 v2 人工智能
摘要
编码分布语义的文本词嵌入通过建模频繁出现词的上下文相似性来工作。另一方面，声学词嵌入通常编码低层语音相似性。此前已使用类似于 Word2Vec 的算法探索过口语词语义嵌入，但所得向量仍主要编码语音而非语义特征。本文中，我们检视先前工作所用的假设与架构，并通过实验展示当输入单元声学相关时，浅层类 skipgram 算法如何无法编码分布语义。我们阐释了该模型的一种替代性深度端到端变体的潜力，并考察其对所得嵌入的影响，展示了嵌入空间中语义相关性的正向结果。
引用
@article{arxiv.2311.09319,
title = {Spoken Word2Vec: Learning Skipgram Embeddings from Speech},
author = {Mohammad Amaan Sayeed and Hanan Aldarmaki},
journal= {arXiv preprint arXiv:2311.09319},
year = {2024}
}