预训练多语言 Transformer 揭示人类语言之间的定量距离
计算与语言
2026-03-19 v1 机器学习
摘要
理解人类语言之间的距离是语言学、人类学以及追踪人类演化历史的核心问题。然而，尽管语言学长期提供了丰富的跨语言变异定性描述，但缺乏统一且可扩展的定量方法来衡量语言距离。本文引入了一种方法，利用预训练多语言语言模型作为系统性语言测量工具。具体我们表明，这些模型自然产生的注意力机制提供了一种稳健、无分词依赖的跨语言距离度量，称为注意力传输距离(Attention Transport Distance, ATD)。通过将注意力矩阵作为概率分布来度量其几何发散——即通过最优传输，我们在翻译期间量化语言之间的表示距离。应用于广泛且多样化的语言集合，我们证明所得距离能够高保真地恢复已建立的语言分组，并揭示与地理和接触引起的关系相吻合的模式。此外，将 ATD 作为正则化器可提高低资源机器翻译中的迁移性能。我们的结果为使用人工神经网络测试语言学假设提供了原则性基础。该框架将多语言模型转化为进行定量语言发现的强大工具，促进更公平的多语言 AI。
引用
@article{arxiv.2603.17912,
title = {Pretrained Multilingual Transformers Reveal Quantitative Distance Between Human Languages},
author = {Yue Zhao and Jiatao Gu and Paloma Jeretič and Weijie Su},
journal= {arXiv preprint arXiv:2603.17912},
year = {2026}
}