学习控制隐表示以实现命名实体的少样本学习
机器学习
2019-11-21 v1
摘要
人类擅长利用小数据持续学习而不遗忘如何解决旧问题。然而,神经网络需要大型数据集来计算跨不同任务的隐表示,同时最小化损失函数。例如,自然语言理解(NLU)系统在其部署过程中常会遇到涌现实体,因为现实场景中与用户的交互会产生新的、低频出现的名字、事件与地点。在此,我们通过引入一个可由强化学习(RL)训练的控制器来解决该场景,该控制器将神经编码器的表示学习与记忆管理角色解耦。我们提出的方案直接而简单:我们训练一个控制器,对外部记忆执行最优的读写操作序列,以利用过去的多样激活并提供准确预测。我们的方法称为学习控制(Learning to Control, LTC),允许具有两级记忆可塑性的少样本学习。我们通过实验表明,我们的系统在 Stanford Task-Oriented Dialogue 数据集的实体识别少样本学习中获得了准确结果。
引用
@article{arxiv.1911.08542,
title = {Learning to Control Latent Representations for Few-Shot Learning of Named Entities},
author = {Omar U. Florez and Erik Mueller},
journal= {arXiv preprint arXiv:1911.08542},
year = {2019}
}