基于局部敏感哈希跨数据集查询的实例归纳式深度迁移学习
计算与语言
2018-02-19 v1
摘要
监督学习模型通常在单一数据集上训练，这些模型的性能严重依赖于数据集的规模，即带有真值标注的可用数据量。学习算法试图仅基于训练期间所呈现的数据进行泛化。在本工作中，我们提出一种归纳式迁移学习方法，可通过注入自然语言处理（NLP）领域中不同学习任务里的相似实例来增强学习模型。我们提出使用源数据集的实例表示，且不从源学习模型继承任何东西。对源数据集与目标数据集的实例表示进行学习，利用软注意力机制与局部敏感哈希检索相关源实例，然后在目标数据集训练期间将其增强入模型。我们的方法同时利用了局部实例级信息以及数据集的宏观统计视角。使用该方法，我们在三个主要新闻分类数据集上相较基线取得了显著提升。实验评估还表明，在性能相当的情况下，所提方法显著降低了对标注数据的依赖。通过我们提出的跨数据集学习流程，我们展示了人们可以获得比从单一数据集学习更具竞争力或更优的性能。
引用
@article{arxiv.1802.05934,
title = {Instance-based Inductive Deep Transfer Learning by Cross-Dataset Querying with Locality Sensitive Hashing},
author = {Somnath Basu Roy Chowdhury and K M Annervaz and Ambedkar Dukkipati},
journal= {arXiv preprint arXiv:1802.05934},
year = {2018}
}