面向零样本与少样本迁移的最坏情况感知课程学习
计算与语言
2020-09-24 v1 机器学习
摘要
基于预训练语言编码器的多任务迁移学习在一系列任务上取得了最先进的性能。标准方法隐式地假设我们有训练数据的任务与我们所关注的任务具有同等的代表性，这一假设往往难以成立。本文提出了一种更不可知的多任务迁移学习方法，其使用自动化课程学习来最小化跨任务的一类新的最坏情况感知损失。这些损失不仅在离群任务上带来更好的性能，也在零样本和少样本迁移设定中带来更好的性能。
引用
@article{arxiv.2009.11138,
title = {Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer},
author = {Sheng Zhang and Xin Zhang and Weiming Zhang and Anders Søgaard},
journal= {arXiv preprint arXiv:2009.11138},
year = {2020}
}