基于Transformer的小样本序列学习
机器学习
2020-12-18 v1
摘要
小样本算法旨在仅提供少量训练样本的情况下学习新任务。在本工作中，我们研究数据点为由词元组成的序列这一设定下的小样本学习，并提出了一种基于Transformer的高效学习算法。在最简单的设定中，我们在输入序列后追加一个代表待执行特定任务的词元，并表明该词元的嵌入可在给定少量标注样本时即时优化。我们的方法不需要对模型架构进行诸如适配器层之类的复杂改动，也不需计算元学习与小样本学习文献中当前流行的二阶导。我们在多种任务上展示了我们的方法，并分析了若干模型变体与基线方法的泛化性质。特别地，我们表明组合式任务描述符可提升性能。实验显示，我们的方法至少与其他方法表现相当，同时计算效率更高。
引用
@article{arxiv.2012.09543,
title = {Few-shot Sequence Learning with Transformers},
author = {Lajanugen Logeswaran and Ann Lee and Myle Ott and Honglak Lee and Marc'Aurelio Ranzato and Arthur Szlam},
journal= {arXiv preprint arXiv:2012.09543},
year = {2020}
}
备注
NeurIPS Meta-Learning Workshop 2020