面向未登录词的少样本表示学习
计算与语言
2019-07-02 v1
摘要
现有的词嵌入学习方法通常假设语料库中每个词都有足够的出现次数，从而可以从其上下文中准确估计词的表示。然而，在真实场景中，未出现在训练语料库中的未登录词（又称 OOV 词）频繁出现。在仅有少量观测的情况下，学习这些词的准确表示是一项挑战。本文将 OOV 词嵌入的学习形式化为一个少样本回归问题，并通过训练一个表示函数来基于有限观测预测 oracle 嵌入向量（定义为使用大量观测训练出的嵌入）来解决该问题。具体而言，我们提出了一种新颖的基于分层注意力的架构作为神经回归函数，利用该架构从 K 次观测中编码并聚合词的上下文信息。此外，我们的方法可以利用与模型无关的元学习（MAML）来快速且鲁棒地将学习到的模型适应到新语料库。实验表明，所提出的方法在为 OOV 词构建准确嵌入方面显著优于现有方法，并提升了利用这些嵌入的下游任务。
引用
@article{arxiv.1907.00505,
title = {Few-Shot Representation Learning for Out-Of-Vocabulary Words},
author = {Ziniu Hu and Ting Chen and Kai-Wei Chang and Yizhou Sun},
journal= {arXiv preprint arXiv:1907.00505},
year = {2019}
}