超越非单调性的基于转换器的流式生成
计算与语言
2025-05-29 v2 人工智能
摘要
流式生成模型在多个领域中得到广泛应用，Transducer 架构在工业应用中尤为流行。然而，其输入同步解码机制在需要非单调对齐的任务（如同时译）中 presents 挑战。在本研究中，我们通过集成 Transducer 的解码与输入流的历史记录（通过可学习的单调注意力）来解决此问题。我们的做法利用前向-后向算法推断预测状态与输入时间戳之间对齐概率后验分布，从而用于估计单调上下文表示，从而避免在训练期间枚举指数级对齐空间。广泛的实验表明，我们的 MonoAttn-Transducer 能有效处理流式场景中的非单调对齐，为复杂生成任务提供了稳健的解决方案。
引用
@article{arxiv.2411.17170,
title = {Overcoming Non-monotonicity in Transducer-based Streaming Generation},
author = {Zhengrui Ma and Yang Feng and Min Zhang},
journal= {arXiv preprint arXiv:2411.17170},
year = {2025}
}
备注
ICML25; Codes: https://github.com/ictnlp/MonoAttn-Transducer