注意力在少样本文本分类元学习中的重要性
机器学习
2018-06-05 v1 人工智能
机器学习
摘要
当前基于深度学习的文本分类方法在数据稀缺时快速学习与泛化的能力有限。我们通过集成一种元学习过程来解决此问题，该过程将跨多个任务学到的知识用作朝向更好自然语言理解的归纳偏置。基于模型无关元学习框架（MAML），我们引入用于文本分类的注意力任务无关元学习（ATAML）算法。MAML与ATAML的本质区别在于任务无关表示学习与任务特定注意力适应的分离。所提出的ATAML旨在通过任务无关参数化鼓励任务无关表示学习，并通过注意力机制促进任务特定适应。我们提供证据表明ATAML中的注意力机制对学习性能具有协同效应。在与随机初始化训练的模型、预训练模型和元训练MAML的比较中，我们提出的ATAML方法在miniRCV1和miniReuters-21578数据集的单标签和多标签分类任务上泛化更好。
引用
@article{arxiv.1806.00852,
title = {On the Importance of Attention in Meta-Learning for Few-Shot Text Classification},
author = {Xiang Jiang and Mohammad Havaei and Gabriel Chartrand and Hassan Chouaib and Thomas Vincent and Andrew Jesson and Nicolas Chapados and Stan Matwin},
journal= {arXiv preprint arXiv:1806.00852},
year = {2018}
}
备注
13 pages, 4 figures, submitted to NIPS