面向高到低资源语言的开放域对话预训练语言模型语言可移植性策略
计算与语言
2024-07-02 v1
摘要
本文提出了大型预训练语言模型 (PLM) 用于开放域对话系统的语言可移植性策略研究。在本研究中，目标低资源语言 (L_T) 将使用法语进行模拟，因为该语言缺乏任务特定资源，允许我们进行人类评估，而源语言 (L_S) 为英文。由于最近的工作在开放域对话中主要是在英文中开发的，因此大多数使用此类模型进行开放域对话的工作都在英文中开发。然而，为每个可能的目标语言构建特定的 PLM 假设需要收集新数据且成本高昂。因此，尝试利用 L_S 和 L_T 中的所有现有资源 (PLM 和数据)，我们希望评估在 L_T 可实现的性能。前两种方法在不同水平上评估神经机器翻译 (NMT) 的使用：TrainOnTarget 在 L_T 中进行微调前翻译 L_S 数据集，TestOnSource 在推理时将 L_S 模型与 NMT 模块耦合在一起。随着 BLOOM [2] 世界上第一个开放获取的大型多语言 PLM 的出现，研究人员开发了新的方法，旨在利用不仅模型的完整可访问性，还利用其多语言性和翻译能力。在此背景下，该任务首先在 L_S 中学习，然后使用 MAD-X Adapter 架构 [16] 适应到 L_T。在两套实验中，模型在口语对话条件下进行人类评估，能够以感知到的交互质量进行比较。
引用
@article{arxiv.2407.01315,
title = {Language Portability Strategies for Open-domain Dialogue with Pre-trained Language Models from High to Low Resource Languages},
author = {Ahmed Njifenjou and Virgile Sucal and Bassam Jabaian and Fabrice Lefèvre},
journal= {arXiv preprint arXiv:2407.01315},
year = {2024}
}
备注
The 13th International Workshop on Spoken Dialogue Systems Technology (IWSDS '23)