CALICO：基于合成数据生成的对话式代理本地化
计算与语言
2024-12-10 v1 人工智能
机器学习
摘要
我们提出CALICO方法，用于将大型语言模型（LLM）微调以本地化来自一种语言的对话式代理训练数据到另一种语言。对于槽位（命名实体），CALICO支持三种操作：逐字复制、字面翻译和本地化，即生成在目标语言中更合适的槽位值，如位于该语言所属国家的城市和机场名称。此外，我们设计了迭代过滤机制以筛选噪声较大的生成样本，我们展示了该机制可提升下游对话式代理的性能。为证明CALICO的有效性，我们构建并发布了8种语言的人类本地化（HL）版本的MultiATIS++旅游信息测试集。与原始的人类翻译（HT）版本测试集相比，我们的新HL版本更具挑战性。我们也展示CALICO在HT情形下 outperform 了基于字面槽位翻译的SOTA LINGUIST方法，生成更准确的槽位翻译；在HL情形下，CALICO生成的本地化槽位更接近HL测试集。
引用
@article{arxiv.2412.05388,
title = {CALICO: Conversational Agent Localization via Synthetic Data Generation},
author = {Andy Rosenbaum and Pegah Kharazmi and Ershad Banijamali and Lu Zeng and Christopher DiPersio and Pan Wei and Gokmen Oz and Clement Chung and Karolina Owczarzak and Fabian Triefenbach and Wael Hamza},
journal= {arXiv preprint arXiv:2412.05388},
year = {2024}
}
备注
Accepted to The 37th International Conference on Neural Information Processing Systems (NeurIPS 2023) December 10-16, 2023 - SyntheticData4ML Workshop, New Orleans, United States https://neurips.cc/virtual/2023/workshop/66540