贝叶斯风险 CTC：序列到序列任务中可控的 CTC 对齐
计算与语言
2023-02-01 v2 声音
音频与语音处理
摘要
序列到序列（seq2seq）任务将输入序列转写为目标序列。连接主义时序分类（CTC）准则被广泛应用于多种 seq2seq 任务。除预测目标序列外，CTC 的一个副产品是预测对齐，即指定输入与目标单元间硬对齐关系的最可能输入长序列。由于 CTC 公式中多个潜在对齐序列（称为路径）被等同考虑，究竟哪条路径最可能并成为预测对齐始终不确定。此外，通常观察到原始 CTC 预测的对齐相较其参考会发生漂移，且极少提供实际功能。因此，本工作的动机是使 CTC 对齐预测可控，从而赋予 CTC 额外功能。本文提出贝叶斯风险 CTC（BRCTC）准则，其中采用可定制的贝叶斯风险函数以强制预测对齐具备期望特性。借助该风险函数，BRCTC 是一个通用框架，可对路径施加某些可定制偏好，以将后验集中于路径的特定子集。在应用中，我们探索了一种特定偏好，其产出的模型具备下采样能力并降低推理成本。通过将 BRCTC 与另一种用于早发射的偏好结合，我们获得了在线模型更优的性能—延迟权衡。实验上，所提 BRCTC 在不降低性能的前提下将离线模型推理成本减少至多 47%，并将在线系统整体延迟降至前所未有的水平。
引用
@article{arxiv.2210.07499,
title = {Bayes risk CTC: Controllable CTC alignment in Sequence-to-Sequence tasks},
author = {Jinchuan Tian and Brian Yan and Jianwei Yu and Chao Weng and Dong Yu and Shinji Watanabe},
journal= {arXiv preprint arXiv:2210.07499},
year = {2023}
}