迭代多语言谱属性擦除
计算与语言
2025-12-30 v2
摘要
多语言表示将具有相似含义的词嵌入到跨语言的共同语义空间中，为在不同语言之间迁移去偏效果创造了机会。然而，现有的去偏方法由于仅在单一语言上操作，无法利用这一机会。我们提出了迭代多语言谱属性擦除（IMSAE），它通过基于 SVD 的迭代截断，识别并缓解跨多种语言的联合偏见子空间。我们在八种语言和五个人口统计学维度下对 IMSAE 进行了评估，证明了它在标准和零样本设置下的有效性，即在目标语言数据不可用的情况下，可以使用语言学上相似的语言进行去偏。我们在多种语言模型（BERT、LLaMA、Mistral）上的综合实验表明，IMSAE 在保持模型效用的同时，优于传统的单语言和跨语言方法。
关键词
引用
@article{arxiv.2506.11244,
title = {Iterative Multilingual Spectral Attribute Erasure},
author = {Shun Shao and Yftah Ziser and Zheng Zhao and Yifu Qiu and Shay B. Cohen and Anna Korhonen},
journal= {arXiv preprint arXiv:2506.11244},
year = {2025}
}
备注
Accepted to the main conference of EMNLP 2025