$C^3$：面向推理高效跨语言自然语言理解的置信度校准模型级联
计算与语言
2024-02-27 v1
摘要
跨语言自然语言理解（NLU）是自然语言处理（NLP）中的一项关键任务。最近的进展表明，多语言预训练语言模型（mPLMs）显著提升了这些任务的性能。然而，mPLMs 需要大量资源并在推理过程中产生高昂的计算成本，这对在现实世界和实时系统中的部署构成了挑战。现有的模型级联方法试图通过基于模型置信度分数，贪婪地从各种模型中选择能够处理当前输入的最轻量级模型，来提高推理效率。尽管如此，深度模型往往表现出过度自信，且置信度分布因语言而异。这导致较小的模型会输出自信但错误的预测，阻碍了其在测试语言上的有效泛化能力。在本研究中，我们引入了一种置信度校准模型级联（）方法。这种简单而有效的方法涉及在级联推理之前进行校准，从而通过更可靠的预测提高级联准确性。在三个跨语言基准上进行的广泛实验表明， 显著优于所有最先进的基线方法。
引用
@article{arxiv.2402.15991,
title = {$C^3$: Confidence Calibration Model Cascade for Inference-Efficient Cross-Lingual Natural Language Understanding},
author = {Taixi Lu and Haoyu Wang and Huajie Shao and Jing Gao and Huaxiu Yao},
journal= {arXiv preprint arXiv:2402.15991},
year = {2024}
}