有的放矢地对齐:用通用即插即用框架在 CTC 模型中优化期望属性
计算与语言
2024-03-08 v3 机器学习
声音
音频与语音处理
摘要
连接主义时序分类(CTC)是一种广泛使用的有监督序列到序列(seq2seq)模型训练准则。它通过对完美对齐(可得到真值)边缘化,以牺牲不完美对齐为代价,来学习输入与输出序列间称为对齐的关系。这种对完美与不完美对齐的二元区分,不足以刻画在其他现实应用中同样重要的其他本质对齐属性。本文提出 ,一个用于在 CTC 准则训练的模型中增强期望属性的。我们通过为 CTC 补充一个根据期望属性对对齐进行优先排序的额外损失项来实现。我们的方法无需对 CTC 损失函数做任何改动,可轻松优化多种属性,并能在完美与不完美对齐间区分。我们在自动语音识别(ASR)领域应用该框架,并展示其在属性选择、架构选择和训练数据集规模(高达 280,000 小时)上的通用性。为证明框架有效性,我们将其应用于两个不相关的属性:发射时间与词错误率(WER)。前者在 WER 轻微下降的情况下报告了高达 570ms 的延迟优化提升;后者相对基线模型报告了 4.5% 的 WER 相对提升。据我们所知,这些应用此前从未在如我们这般大规模数据上得到验证。值得注意的是,我们的方法仅需几行代码即可实现,并可扩展至其他无对齐损失函数及 ASR 以外的领域。
引用
@article{arxiv.2307.01715,
title = {Align With Purpose: Optimize Desired Properties in CTC Models with a General Plug-and-Play Framework},
author = {Eliya Segev and Maya Alroy and Ronen Katsir and Noam Wies and Ayana Shenhav and Yael Ben-Oren and David Zar and Oren Tadmor and Jacob Bitterman and Amnon Shashua and Tal Rosenwein},
journal= {arXiv preprint arXiv:2307.01715},
year = {2024}
}
备注
ICLR 2024