transliterations 提升跨语言对齐效果

最近的研究表明，通过在原始数据和转写数据上使用对齐目标，对多语言预训练语言模型(mPLMs)进行后对齐可以提高跨语言对齐效果，这一改进进一步导致更好的跨语言迁移性能。然而，仍不清楚如何以及为什么能够实现更好的跨语言对齐，因为这一技术仅涉及转写，不使用任何平行数据。本文尝试显式评估跨语言对齐，并识别贡献更好性能的转写方法中的关键要素。为此，我们在两种语言对上训练多个模型进行不同设置的实验：(1) 波兰语和乌克兰语；(2) 印地语和乌尔都语。为评估对齐，我们定义了基于句子表示的四种相似性类型。我们的实验结果表明，仅添加转写即可提高整体相似性，即使对于随机句子对也是如此。在辅助转写基于对齐的目标的帮助下，尤其是对比目标，可让模型学会区分匹配对和随机对，从而实现更好的跨语言对齐。然而，我们也表明更好的对齐并不总是导致更好的下游性能，表明仍需进一步研究澄清对齐与性能之间的关系。代码实现基于\url{https://github.com/cisnlp/Transliteration-PPA}。