中文

有的放矢地对齐:用通用即插即用框架在 CTC 模型中优化期望属性

计算与语言 2024-03-08 v3 机器学习 声音 音频与语音处理

摘要

连接主义时序分类(CTC)是一种广泛使用的有监督序列到序列(seq2seq)模型训练准则。它通过对完美对齐(可得到真值)边缘化,以牺牲不完美对齐为代价,来学习输入与输出序列间称为对齐的关系。这种对完美与不完美对齐的二元区分,不足以刻画在其他现实应用中同样重要的其他本质对齐属性。本文提出 Align With Purpose\textit{Align With Purpose},一个用于在 CTC 准则训练的模型中增强期望属性的通用即插即用框架\textbf{通用即插即用框架}。我们通过为 CTC 补充一个根据期望属性对对齐进行优先排序的额外损失项来实现。我们的方法无需对 CTC 损失函数做任何改动,可轻松优化多种属性,并能在完美与不完美对齐间区分。我们在自动语音识别(ASR)领域应用该框架,并展示其在属性选择、架构选择和训练数据集规模(高达 280,000 小时)上的通用性。为证明框架有效性,我们将其应用于两个不相关的属性:发射时间与词错误率(WER)。前者在 WER 轻微下降的情况下报告了高达 570ms 的延迟优化提升;后者相对基线模型报告了 4.5% 的 WER 相对提升。据我们所知,这些应用此前从未在如我们这般大规模数据上得到验证。值得注意的是,我们的方法仅需几行代码即可实现,并可扩展至其他无对齐损失函数及 ASR 以外的领域。

关键词

引用

@article{arxiv.2307.01715,
  title  = {Align With Purpose: Optimize Desired Properties in CTC Models with a General Plug-and-Play Framework},
  author = {Eliya Segev and Maya Alroy and Ronen Katsir and Noam Wies and Ayana Shenhav and Yael Ben-Oren and David Zar and Oren Tadmor and Jacob Bitterman and Amnon Shashua and Tal Rosenwein},
  journal= {arXiv preprint arXiv:2307.01715},
  year   = {2024}
}

备注

ICLR 2024