何时语言转移有效？跨语言顺序微调用于欺称检测
计算与语言
2025-08-19 v1 人工智能
摘要
欺称是具有文化变异性且常带歧义的语言现象，对语言模型构成挑战，尤其是在资源较少的环境中。本文研究了通过顺序微调进行的跨语言转移如何影响跨五种语言（英语、西班牙语、中文、土耳其语和约鲁巴语）的欺称检测。我们比较了顺序微调、单语言微调和同时微调，使用 XLM-R 和 mBERT，分析性能如何受语言配对、类型学特征和预训练覆盖率的影响。结果表明，针对高资源语言 L1 的顺序微调可提升 L2 的性能，特别是针对资源较少的语言如约鲁巴语和土耳其语。XLM-R 实现了更大的提升，但对预训练差距和灾难性遗忘更敏感，而 mBERT 虽然提升较小，但更稳定。这些发现突出了顺序微调作为改进多语言模型中欺称检测的简单而有效策略，特别是在涉及资源较少语言时。
引用
@article{arxiv.2508.11831,
title = {When Does Language Transfer Help? Sequential Fine-Tuning for Cross-Lingual Euphemism Detection},
author = {Julia Sammartino and Libby Barak and Jing Peng and Anna Feldman},
journal= {arXiv preprint arXiv:2508.11831},
year = {2025}
}
备注
RANLP 2025