一种用于神经聊天翻译的多任务多阶段过渡训练框架
计算与语言
2023-01-30 v1
摘要
神经聊天翻译(NCT)旨在翻译不同语言说话者之间的跨语言聊天。现有的上下文感知 NMT 模型由于以下固有问题而无法取得令人满意的性能:1) 标注双语对话资源有限;2) 忽视对话属性的建模;3) 不同阶段间的训练差异。为解决这些问题,本文提出一种多任务多阶段过渡(MMT)训练框架,其中 NCT 模型使用双语聊天翻译数据集和额外的单语对话进行训练。我们精心设计了两个辅助任务,即话语判别与说话者判别,以将对话连贯性与说话者特征的建模引入 NCT 模型。训练过程包含三个阶段:1) 在大规模平行语料上的句子级预训练;2) 使用额外单语对话带辅助任务的中间训练;3) 渐进过渡的上下文感知微调。特别地,第二阶段作为中间阶段,缓解了预训练与微调阶段间的训练差异。此外,为使阶段过渡更平滑,我们采用渐进过渡策略训练 NCT 模型,即逐渐从使用单语对话过渡到双语对话。在两种语言对上的大量实验证明了我们所提训练框架的有效性与优越性。
引用
@article{arxiv.2301.11749,
title = {A Multi-task Multi-stage Transitional Training Framework for Neural Chat Translation},
author = {Chulun Zhou and Yunlong Liang and Fandong Meng and Jie Zhou and Jinan Xu and Hongji Wang and Min Zhang and Jinsong Su},
journal= {arXiv preprint arXiv:2301.11749},
year = {2023}
}
备注
16 pages, IEEE Transactions on Pattern Analysis and Machine Intelligence