TRepLiNa：层级 CKA+REPINA 对齐提升阿亚-23 8B模型在低资源机器翻译中的表现
计算与语言
2025-12-11 v5 人工智能
摘要
2025 年多模态模型在低资源语境及社会影响 (MMLoSo) 语言挑战赛旨解决印度多样化低资源语言 (LRLs) 资源匮乏的迫切问题。本研究探讨了通过强制对解码器-only 多语言大型语言模型 (LLM) 中特定内部层的跨语言相似性来提高 LRL 到高资源语言 (HRL) 的翻译质量。具体而言，我们将中心化核对齐 (CKA)——一种鼓励不同语言表示对齐的相似性度量——与 REPINA 融合，后者是一种约束参数更新保持接近预训练模型的方法，构成我们称为 TRepLiNa 的联合方法。本研究项目在 MMLoSo 共享任务语言对 (Mundari、Santali、Bhili) 配合 Hindi/English 枢轴上进行零-shot、few-shot 和 fine-tuning 设置的实验。我们的结果表明，使用 TRepLiNa (CKA+REPINA) 对齐中间层是一种低成本、实用的方法，可提升 LRL 翻译质量，尤其在数据稀缺的情境下效果显著。
引用
@article{arxiv.2510.06249,
title = {TRepLiNa: Layer-wise CKA+REPINA Alignment Improves Low-Resource Machine Translation in Aya-23 8B},
author = {Toshiki Nakai and Ravi Kiran Chikkala and Lena Sophie Oberkircher and Nicholas Jennings and Natalia Skachkova and Tatiana Anikina and Jesujoba Oluwadara Alabi},
journal= {arXiv preprint arXiv:2510.06249},
year = {2025}
}
备注
It is work in progress