用于提升口语问答准确率的知识蒸馏
计算与语言
2021-04-02 v3 人工智能
信息检索
机器学习
声音
音频与语音处理
摘要
口语问答（SQA）是一项具有挑战性的任务，要求机器充分理解复杂的口语文档。自动语音识别（ASR）在QA系统的发展中起着重要作用。然而，近期工作表明，ASR系统生成的转写文本噪声极高，严重限制了机器在SQA任务上的理解能力。为解决该问题，我们提出了一种新颖的蒸馏框架。具体而言，我们设计了一种训练策略，从口语文档及其书面对应文本中进行知识蒸馏（KD）。我们的工作朝着从语言模型中蒸馏知识作为监督信号迈出了一步，通过减小自动与人工转写之间的错位来提升学生模型的准确率。实验表明，我们的方法在Spoken-SQuAD数据集上优于多个最先进的语言模型。
关键词
引用
@article{arxiv.2010.11067,
title = {Knowledge Distillation for Improved Accuracy in Spoken Question Answering},
author = {Chenyu You and Nuo Chen and Yuexian Zou},
journal= {arXiv preprint arXiv:2010.11067},
year = {2021}
}
备注
To appear in ICASSP 2021