通过集成 CTC 与辅助损失正则化改进 CTC-AED 模型
计算与语言
2023-08-17 v1 声音
音频与语音处理
摘要
连接主义时序分类（CTC）与基于注意力的编码器解码器（AED）联合训练已广泛应用于自动语音识别（ASR）。与大多数分别计算 CTC 和 AED 损失的混合模型不同，我们提出的集成 CTC 利用 AED 的注意力机制来引导 CTC 的输出。本文采用两种融合方法，即对数几率直接相加（DAL）与保留最大概率（PMP）。我们通过自适应仿射变换注意力结果以匹配 CTC 维度，实现维度一致性。为加速模型收敛并提升准确率，我们引入用于加速收敛的辅助损失正则化。实验结果表明，DAL 方法在注意力重打分中表现更优，而 PMP 方法在 CTC 前缀束搜索与贪心搜索中更出色。
引用
@article{arxiv.2308.08449,
title = {Improving CTC-AED model with integrated-CTC and auxiliary loss regularization},
author = {Daobin Zhu and Xiangdong Su and Hongbin Zhang},
journal= {arXiv preprint arXiv:2308.08449},
year = {2023}
}