用于多语言模型零样本性能预测的多任务学习
计算与语言
2022-05-13 v1
摘要
基于大规模多语言 Transformer 的语言模型已被观察到在跨语言的零样本迁移上出奇有效，尽管性能因语言而异，取决于用于微调的枢纽语言。在这项工作中，我们基于一些现有技术，将零样本任务性能预测建模为多任务学习问题。我们联合训练针对不同任务的预测模型，这有助于我们为那些仅有极少语言测试数据以衡量模型实际性能的任务构建更准确的预测器。我们的方法还赋予我们进行更鲁棒特征选择的能力，并识别出影响多种任务零样本性能的共同特征集。
引用
@article{arxiv.2205.06130,
title = {Multi Task Learning For Zero Shot Performance Prediction of Multilingual Models},
author = {Kabir Ahuja and Shanu Kumar and Sandipan Dandapat and Monojit Choudhury},
journal= {arXiv preprint arXiv:2205.06130},
year = {2022}
}
备注
ACL 2022