基于软标签原型从少量样本学习新任务
机器学习
2024-09-24 v4 计算与语言
摘要
现有的 NLP 少样本学习方法依赖于大语言模型(LLMs)和/或对这些模型进行微调，以在分布外数据上泛化。在本工作中，我们提出了一种基于软标签原型(SLPs)的新颖少样本学习方法，旨在集体捕捉不同类别在输入域空间上的分布。我们专注于从每类极少样本(4、8、16)中学习先前未见的 NLP 任务，并通过实验证明，在数据匮乏设定下，我们的方法在多数被测任务上取得了更优性能，同时具有极高的参数效率。我们还表明，我们的少样本自适应方法可集成到更通用的学习设定中，主要是元学习，以对照强基线取得更优性能。
引用
@article{arxiv.2210.17437,
title = {Learning New Tasks from a Few Examples with Soft-Label Prototypes},
author = {Avyav Kumar Singh and Ekaterina Shutova and Helen Yannakoudakis},
journal= {arXiv preprint arXiv:2210.17437},
year = {2024}
}
备注
Proceedings of the 9th Workshop on Representation Learning for NLP (2024), Pages 215 to 236