谁需要解码器？序列级属性的高效估计
机器学习
2023-05-10 v1 人工智能
计算与语言
摘要
最先进的序列到序列模型通常需要自回归解码，这可能极为昂贵。然而，对于某些下游任务，如分布外（OOD）检测与资源分配，实际并不需要解码输出，而仅需该序列的一个标量属性。在这些场景中，例如预测系统输出的质量以预判较差性能比知道输出本身更为重要，是否有可能绕过自回归解码？我们提出非自回归代理（NAP）模型，可高效预测通用的标量值序列级属性。重要的是，NAP直接从编码预测这些指标，避免了昂贵的自回归解码阶段。我们考虑两个序列到序列任务：机器翻译（MT）与自动语音识别（ASR）。在MT的OOD检测中，NAP优于深度集成方法且显著更快。NAP还被证明能够预测诸如BERTScore（MT）或词错误率（ASR）等性能指标。对于下游任务，如数据过滤与资源优化，NAP生成的性能预测优于预测不确定性，且具备极高的推理效率。
引用
@article{arxiv.2305.05098,
title = {Who Needs Decoders? Efficient Estimation of Sequence-level Attributes},
author = {Yassir Fathullah and Puria Radmard and Adian Liusie and Mark J. F. Gales},
journal= {arXiv preprint arXiv:2305.05098},
year = {2023}
}