学习选择性迁移：用于深度文本匹配的强化迁移学习
信息检索
2019-01-01 v1 计算与语言
机器学习
摘要
深度文本匹配方法已被广泛研究用于许多应用，包括问答和信息检索系统。为了处理标注数据不足的领域，这些方法可以在迁移学习（TL）设定下使用，以利用来自资源丰富的源领域的标注数据。为了获得更好的性能，源领域数据选择在此过程中至关重要，以防止“负迁移”问题。然而，新兴的深度迁移模型与大多数现有数据选择方法不太契合，因为数据选择策略与迁移学习模型未联合训练，导致训练效率次优。在本文中，我们提出一种新颖的强化数据选择器，用于选择高质量的源领域数据以帮助 TL 模型。具体而言，数据选择器对源领域数据“行动”以找到用于优化 TL 模型的子集，而 TL 模型的性能可反过来提供“奖励”以更新选择器。我们基于 actor-critic 框架构建强化数据选择器，并将其集成到基于 DNN 的迁移学习模型中，从而形成一种强化迁移学习（RTL）方法。我们在文本匹配的两个主要任务上进行了全面的实验评估，即释义识别和自然语言推理。实验结果表明所提出的 RTL 能显著提升 TL 模型的性能。我们进一步研究了状态、奖励和策略优化方法的不同设定以检验我们方法的鲁棒性。最后，我们对所选数据进行案例研究，发现我们的方法能够选择 Wasserstein 距离接近目标领域数据的源领域数据。这是合理且直观的，因为此类源领域数据能为模型提供更强的可迁移性。
引用
@article{arxiv.1812.11561,
title = {Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching},
author = {Chen Qu and Feng Ji and Minghui Qiu and Liu Yang and Zhiyu Min and Haiqing Chen and Jun Huang and W. Bruce Croft},
journal= {arXiv preprint arXiv:1812.11561},
year = {2019}
}
备注
Accepted to WSDM 2019