面向数据高效迁移的均匀先验
机器学习
2020-10-14 v2 计算机视觉与模式识别
机器学习
摘要
深度神经网络在各种下游应用中展现出巨大前景；但它们适应并泛化到新数据和任务的能力仍具挑战。然而，对新颖任务进行少样本或零样本适应的能力对于机器学习模型的可扩展性与部署十分重要。因此，理解深度网络中何种因素构成良好且可迁移的特征以最佳支持此类适应至关重要。在本文中，我们通过表明最具可迁移性的特征在嵌入空间中具有高均匀性，并提出了一种鼓励更好迁移与特征复用的均匀性正则化方案，来阐明这一点。我们评估了该正则化促进对未见任务与数据的适应能力，为此我们开展了涵盖四个相关且不同领域的透彻实验研究：少样本元学习、深度度量学习、零样本域适应以及分布外分类。在所有实验中，我们表明均匀性正则化相较基线方法持续提供益处，并能在深度度量学习与元学习中取得最先进的性能。
引用
@article{arxiv.2006.16524,
title = {Uniform Priors for Data-Efficient Transfer},
author = {Samarth Sinha and Karsten Roth and Anirudh Goyal and Marzyeh Ghassemi and Hugo Larochelle and Animesh Garg},
journal= {arXiv preprint arXiv:2006.16524},
year = {2020}
}