多语言大语言模型内在奖励低资源语言的面向语言时间敏感语义对齐

资源丰富语言与被视为低资源语言之间的标注资源不平衡差距仍是大语言模型（LLM）的一个重大障碍。近期在跨语言情境学习（X-ICL）方面的进展，主要通过来自多语言预训练变换器检索的语义对齐示例，已在缓解这一问题方面显示出前景。然而，我们的调查发现，LLM 本质上会奖励面向语言的语义对齐跨语言实例，而非直接的跨语言语义对齐，在处理时间敏感查询方面存在显著差异。此类查询需要 LLM 拥有 sound 时序推理能力，而近期的进展主要聚焦于英文。本研究旨在通过改进低资源语言的时序推理能力来弥合这一差距。为此，我们引入 mTEMPREASON，一个旨在不同程度低资源语言的时序推理数据集，并提出 Cross-Lingual Time-Sensitive Semantic Alignment（CLiTSSA），一种改进这些情境下时序推理的方法。为此，我们构建了一个 mTEMPREASON 的扩展版本，包含平行的跨语言时序查询对，以及它们预期的面向语言语义相似度分数。我们的实证证据表明，CLiTSSA 在包括罗马尼亚语、德语和法语在内的三种语言上，优于 established baselines，涵盖三个时序任务，并包括多样化的四种 contemporaneous LLM。这标志着在跨语言时序推理中解决资源差距的重要进展。