打破边界：探究模型编辑对跨语言性能的影响
计算与语言
2025-03-19 v4
摘要
像 BERT 和 GPT 这样的预训练语言模型（PLM）的集成已经彻底改变了自然语言处理（NLP），特别是对于英语，但也造成了语言不平衡。本文通过在多语言背景下审视几种知识编辑技术，战略性地指出了语言公平性的需求。我们评估了诸如 Mistral、TowerInstruct、OpenHathi、Tamil-Llama 和 Kan-Llama 等模型在包括英语、德语、法语、意大利语、西班牙语、印地语、泰米尔语和卡纳达语等语言上的性能。我们的研究发现了普通模型和合并模型在跨语言一致性方面的显著差异。我们采用诸如“各语言独立”（ELFI）和“各语言为其他语言服务”（ELFO）等策略对这些模型进行压力测试。我们的研究结果展示了大型语言模型（LLM）克服语言障碍的潜力，为未来在人工智能技术中实现语言包容性的研究奠定了基础。
引用
@article{arxiv.2406.11139,
title = {Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance},
author = {Somnath Banerjee and Avik Halder and Rajarshi Mandal and Sayan Layek and Ian Soboroff and Rima Hazra and Animesh Mukherjee},
journal= {arXiv preprint arXiv:2406.11139},
year = {2025}
}
备注
Accepted at NAACL 2025 (Industry track)