面向离群语言的极小极大与奈曼-皮尔逊元学习
计算与语言
2021-06-03 v1
摘要
模型无关元学习（MAML）近来被提出作为一种以样本高效方式学习资源贫乏语言的策略。然而，这些语言的性质往往在训练时未被现有语言很好地代表。因此，我们认为 MAML 中根深蒂固的 i.i.d. 假设使其不适合跨语言 NLP。事实上，在决策理论框架下，MAML 可被解释为最小化各训练语言上的期望风险（具有均匀先验），即所谓的贝叶斯准则。为增强其对离群语言的鲁棒性，我们基于替代准则创建了 MAML 的两个变体：极小极大 MAML 降低各语言上的最大风险，而奈曼-皮尔逊 MAML 将每种语言的风险约束于最大阈值内。两种准则均构成完全可微的两人博弈。有鉴于此，我们提出了一种新的自适应优化器，用于求解其纳什均衡的局部近似。我们在两个流行的 NLP 任务（词性标注与问答）上评估了这两个模型变体。在零样本与少样本设定下，相较于联合多源迁移与原始 MAML，我们报告了其在低资源语言上平均与最小性能的增益。
引用
@article{arxiv.2106.01051,
title = {Minimax and Neyman-Pearson Meta-Learning for Outlier Languages},
author = {Edoardo Maria Ponti and Rahul Aralikatte and Disha Shrivastava and Siva Reddy and Anders Søgaard},
journal= {arXiv preprint arXiv:2106.01051},
year = {2021}
}
备注
Findings of ACL 2021