INTapt：用于增强非母语语音识别的信息论对抗提示微调
计算与语言
2023-05-29 v1 声音
音频与语音处理
摘要
自动语音识别（ASR）系统借助基于自监督语音表示学习预训练的大型语音模型，已取得了前所未有的性能。然而，这些预训练语音模型存在表征偏差，因为它们倾向于比代表性不足口音更好地表征预训练语音语料中那些显著口音（即母语（L1）英语口音），从而导致非母语（L2）英语口音的性能下降。尽管已有一些缓解该问题的方法，但它们都需更新预训练模型权重。在本文中，我们提出信息论对抗提示微调（INTapt），其引入与原始输入拼接的提示，可重新调节预训练模型的注意力，使相应输入类似于母语（L1）英语语音，而无需更新主干权重。INTapt 以下列两种方式同时训练：（1）对抗训练以减少原始输入与提示拼接输入之间的口音特征依赖性；（2）训练以最小化 CTC 损失，从而提升对提示拼接输入的 ASR 性能。实验结果表明，INTapt 改善了 L2 英语的性能，并提升了 L2 与 L1 口音间的特征相似性。
引用
@article{arxiv.2305.16371,
title = {INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition},
author = {Eunseop Yoon and Hee Suk Yoon and John Harvill and Mark Hasegawa-Johnson and Chang D. Yoo},
journal= {arXiv preprint arXiv:2305.16371},
year = {2023}
}
备注
ACL2023