MTCue：利用神经机器翻译中非结构化上下文学习额外文本属性的零样本控制
计算与语言
2023-05-26 v1 人工智能
机器学习
摘要
对文本内与文本外上下文的高效利用仍是机器翻译与人类翻译之间的关键差距之一。现有研究主要集中于在翻译中提供个别定义良好的上下文类型，例如周围文本或说话者性别等离散外部变量。本工作提出 MTCue，一种将全部上下文（包括离散变量）解释为文本的新型神经机器翻译（NMT）框架。MTCue 学习上下文的抽象表示，从而实现跨不同数据设置的迁移性，并在低资源场景中利用相似属性。聚焦于具有文档和元数据上下文访问权限的对话领域，我们在四个语言对的双向翻译中广泛评估了 MTCue。我们的框架在翻译质量上相较参数匹配的非上下文基线表现出显著提升，如 BLEU（+0.88）和 Comet（+1.58）所衡量。此外，MTCue 在英译任务上显著优于“标注”基线。分析表明，MTCue 的上下文编码器学习了一个基于特定属性（如正式度）组织上下文的表示空间，从而实现有效的零样本控制。在上下文嵌入上的预训练也提升了 MTCue 相较于“标注”基线的少样本性能。最后，对模型组件和上下文变量进行的消融研究进一步支持了 MTCue 用于基于上下文的 NMT 的鲁棒性。
引用
@article{arxiv.2305.15904,
title = {MTCue: Learning Zero-Shot Control of Extra-Textual Attributes by Leveraging Unstructured Context in Neural Machine Translation},
author = {Sebastian Vincent and Robert Flynn and Carolina Scarton},
journal= {arXiv preprint arXiv:2305.15904},
year = {2023}
}
备注
Accepted to Findings at ACL2023