视听神经句法习得
计算与语言
2023-10-12 v1 机器学习
声音
音频与语音处理
摘要
我们研究基于视觉的语音中的短语结构归纳。核心思想是首先将语音波形分割为词段序列，随后利用推断出的段级连续表示来归纳短语结构。我们提出视听神经句法学习器（AV-NSL），它通过听音频和看图像来学习短语结构，而从未接触过文本。通过在配对图像和口语字幕上训练，AV-NSL 展现出推断有意义短语结构的能力，对于英语和德语，其结果与自然监督的文本解析器所得结构相当。我们的发现扩展了先前关于语音无监督语言习得和基于视觉的语法归纳的工作，并提出了一种弥合这两个主题之间差距的方法。
引用
@article{arxiv.2310.07654,
title = {Audio-Visual Neural Syntax Acquisition},
author = {Cheng-I Jeff Lai and Freda Shi and Puyuan Peng and Yoon Kim and Kevin Gimpel and Shiyu Chang and Yung-Sung Chuang and Saurabhchand Bhati and David Cox and David Harwath and Yang Zhang and Karen Livescu and James Glass},
journal= {arXiv preprint arXiv:2310.07654},
year = {2023}
}