关于大规模多语言语言模型校准的研究
计算与语言
2022-10-25 v1
摘要
大规模多语言语言模型（MMLMs）因其在跨语言迁移中令人惊讶的有效性而近年受到欢迎。尽管已有大量工作评估这些模型在各类任务和语言上的性能，但关于这些模型对其预测置信度的校准程度却鲜有关注。我们首先在零样本设定下考察 MMLMs 的校准，观察到低资源语言或与英语类型学差异大的语言中存在明显的未校准现象。接着，我们从经验上表明，温度缩放和标签平滑等校准方法在改善零样本场景下的校准方面表现相当好。我们还发现，语言中的少样本示例可进一步帮助减少校准误差，且往往大幅降低。总体而言，我们的工作通过揭示其未校准问题、理解影响它的语言和模型特定因素，并指出改善策略，为构建更可靠的多语言模型做出贡献。
引用
@article{arxiv.2210.12265,
title = {On the Calibration of Massively Multilingual Language Models},
author = {Kabir Ahuja and Sunayana Sitaram and Sandipan Dandapat and Monojit Choudhury},
journal= {arXiv preprint arXiv:2210.12265},
year = {2022}
}
备注
EMNLP 2022