语言模型适配文本分类任务中的性能-效率权衡
计算与语言
2022-10-24 v1
摘要
预训练语言模型（LMs）在适配到文本分类任务时取得了最先进的性能。然而，在真实世界应用中使用此类模型时，效率考量至关重要。在本文中，我们研究了当改变模型和训练集规模时，不同将 LMs 适配到文本分类的训练过程的表现。更具体地，我们比较了标准微调、提示（prompting）以及知识蒸馏（KD），其中教师模型通过微调或提示进行训练。我们的发现表明，尽管微调和提示在大型训练集上训练大型 LMs 时表现良好，但存在更高效的替代方案能够降低计算或数据成本。有趣的是，我们发现提示与 KD 相结合可以同时降低计算和数据成本。
引用
@article{arxiv.2210.12022,
title = {Performance-Efficiency Trade-Offs in Adapting Language Models to Text Classification Tasks},
author = {Laura Aina and Nikos Voskarides and Roi Blanco},
journal= {arXiv preprint arXiv:2210.12022},
year = {2022}
}
备注
AACL-IJCNLP 2022