基于孪生网络与标签调优的小样本学习
计算与语言
2022-04-21 v2 机器学习
摘要
我们研究以极少或无需训练数据构建文本分类器的问题，即众所周知的零样本与小样本文本分类。近年来，基于神经文本蕴含模型的方法被发现在多种不同任务上给出了强劲的结果。在本工作中，我们表明通过恰当的预训练，嵌入文本与标签的孪生网络（Siamese Networks）提供了一种有竞争力的替代方案。这些模型使得推理成本大幅降低：关于标签数量为常数而非线性。此外，我们引入标签调优（label tuning），一种简单且计算高效的方法，允许仅通过改变标签嵌入在小样本设定下适配模型。虽然性能低于模型微调，该方法具有架构上的优势，即单个编码器可被许多不同任务共享。
引用
@article{arxiv.2203.14655,
title = {Few-Shot Learning with Siamese Networks and Label Tuning},
author = {Thomas Müller and Guillermo Pérez-Torró and Marc Franco-Salvador},
journal= {arXiv preprint arXiv:2203.14655},
year = {2022}
}
备注
ACL 2022