基于轨迹的元学习用于词汇表外词嵌入学习
计算与语言
2021-02-25 v1
摘要
词嵌入学习方法需要单词大量出现才能准确学习其嵌入。然而，在较小的下游数据中频繁出现训练语料中未出现的词汇表外（OOV）词。近期工作将 OOV 嵌入学习表述为少样本回归问题，并证明元学习可改善所得结果。然而，所用算法——与模型无关的元学习（MAML）——已知不稳定，且在使用大量梯度步进行参数更新时表现更差。本工作中，我们提出使用 Leap，一种利用整个学习过程轨迹而非仅起点与终点的元学习算法，从而缓解上述两个问题。在基准 OOV 嵌入学习数据集上的实验及外部评价中，Leap 表现与 MAML 相当或更好。我们进一步考察哪些上下文最有利于学习 OOV 嵌入，并提出上下文的选择可能比所采用的元学习更为重要。
引用
@article{arxiv.2102.12266,
title = {Trajectory-Based Meta-Learning for Out-Of-Vocabulary Word Embedding Learning},
author = {Gordon Buck and Andreas Vlachos},
journal= {arXiv preprint arXiv:2102.12266},
year = {2021}
}
备注
Camera ready for the EACL workshop Adapt-NLP 2021