面向有限标注数据的知识感知音频接地生成式槽填充
计算与语言
2023-07-06 v1
摘要
为任务型对话（ToD）系统手动标注细粒度槽值标签是一项昂贵且耗时的工程。这促使了在少量标注数据下运行的槽填充方法的研究。此外，当前大多数ToD工作仅以文本作为输入模态，忽视了处理口语时不完善自动语音识别（ASR）带来的额外挑战。在这项工作中，我们提出一种知识感知音频接地生成式槽填充框架，称为KA2G，专注于基于语音的ToD的少样本与零样本槽填充。KA2G通过以下方式实现鲁棒且数据高效的基于语音的ToD槽填充：1）将其构建为文本生成任务，2）将文本生成额外接地于音频模态，3）以可用的外部知识（例如预定义的 Possible 槽值列表）为条件。我们表明，在KA2G框架内结合两种模态提升了对ASR错误的鲁棒性。此外，KA2G中通过指针生成器机制实现的知识感知槽值生成器尤其有益于少样本和零样本学习。在标准的基于语音的单轮SLURP数据集和从商业ToD系统提取的多轮数据集上进行的实验显示出相对于先前工作的显著且一致的增益，尤其在少样本和零样本设置下。
引用
@article{arxiv.2307.01764,
title = {Knowledge-Aware Audio-Grounded Generative Slot Filling for Limited Annotated Data},
author = {Guangzhi Sun and Chao Zhang and Ivan Vulić and Paweł Budzianowski and Philip C. Woodland},
journal= {arXiv preprint arXiv:2307.01764},
year = {2023}
}
备注
to submit to CS&L