快速而灵活：训练神经网络从小数据学习遵循指令
计算与语言
2019-04-03 v2
摘要
学习遵循人类指令是人工智能长期追求的目标。若假定对所使用语言无任何先验知识，且仅依赖少量样本进行学习，该任务变得尤为困难。以往工作依赖手工编码组件或人工设计特征来提供强归纳偏置，使此类情境下的学习成为可能。相比之下，本文旨在探明该知识能否通过两阶段训练程序由神经网络系统自动获取：一个（慢速）离线学习阶段，网络学习任务的通用结构；一个（快速）在线适应阶段，网络学习新给定说话者的语言。受控实验表明，当网络接触到包含新词的熟悉指令时，模型能非常高效地适应新词汇。此外，即便对于语言使用可显著偏离我们人工训练语言的人类说话者，我们的网络仍能利用其自动获取的归纳偏置，更有效地学习遵循指令。
引用
@article{arxiv.1809.06194,
title = {The Fast and the Flexible: training neural networks to learn to follow instructions from small data},
author = {Rezka Leonandya and Elia Bruni and Dieuwke Hupkes and Germán Kruszewski},
journal= {arXiv preprint arXiv:1809.06194},
year = {2019}
}