用于迁移学习的 Dropping 网络

自然语言理解中的许多任务需要学习两个序列之间的关系，以用于自然语言推理、释义与蕴涵等各类任务。上述任务性质相似，却常被单独建模。知识迁移对紧密相关的任务可奏效。然而，迁移全部知识(其中部分与目标任务无关)会因负迁移导致次优结果。故此，本文通过提出一种基于集成的迁移学习方法，关注自然语言理解任务间实例与参数的可迁移性。\newline 本文的主要贡献是结合 Dropout 与 Bagging 以提升神经网络中的可迁移性，此处称为 Dropping。我们提出一种直接而新颖的方法，将源 Dropping 网络引入目标任务进行少样本学习，以缓解负迁移。这是通过采用依训练期间子区间上平滑样条误差曲线斜率变化所选的衰减参数实现的。我们在少样本学习情形下将所提方法与硬参数共享及软参数共享迁移方法比较，亦与在标准监督学习设置下完全训练于目标任务的模型比较。上述调整带来了改进的迁移学习性能，且仅使用目标任务的一小部分数据便取得与当前 SOTA 相当的结果。