即插即用与融合：基于词级重排序的跨多样词汇零样本联合解码
计算与语言
2024-11-05 v2 人工智能
摘要
自然语言处理领域的最新进展催生了具有专门优势的模型，例如处理多模态输入或在特定领域表现出色。然而，现实世界任务（如多模态翻译）通常需要结合这些优势，例如同时处理翻译和图像处理。虽然单独的翻译模型和视觉模型功能强大，但它们通常缺乏在单一系统中同时执行两项任务的能力。组合这些模型带来了挑战，特别是由于它们词汇表的差异，限制了传统集成方法在生成后技术（如 N-best 列表重排序）方面的有效性。在这项工作中，我们提出了一种新颖的零样本集成策略，允许在解码阶段集成不同模型，而无需额外训练。我们的方法通过在解码过程中对候选束进行词级重排序来结合得分，使用启发式方法预测一个词何时完成。我们在机器翻译场景中展示了该方法的有效性，证明它能够生成同时具备语音和图像感知能力的翻译，同时还能提升整体翻译质量。（论文录用后将发布代码。）
引用
@article{arxiv.2408.11327,
title = {Plug, Play, and Fuse: Zero-Shot Joint Decoding via Word-Level Re-ranking Across Diverse Vocabularies},
author = {Sai Koneru and Matthias Huck and Miriam Exel and Jan Niehues},
journal= {arXiv preprint arXiv:2408.11327},
year = {2024}
}
备注
WMT 2024