Auto-Transfer:学习路由可迁移表示
机器学习
2022-03-17 v4 人工智能
计算机视觉与模式识别
摘要
异构源网络与目标网络及任务间的知识迁移近来备受关注,因为在许多应用中难以获取大量高质量标注数据。现有方法通常约束目标深度神经网络(DNN)特征表示接近源 DNN 特征表示,这可能具有局限性。本文中,我们提出一种新颖的对抗式多臂赌博机方法,自动学习将源表示路由至恰当的目标表示,随后以有意义的方式组合以生成准确的目标模型。在四个基准(目标)图像数据集 CUB200、Stanford Dogs、MIT67 和 Stanford40(源数据集为 ImageNet)上,相较最先进的知识迁移方法,我们观察到超过 5% 的准确率提升。我们通过展示目标网络在不同层关注的重要特征相较于(最接近的)竞争方法的单个示例,定性分析了我们迁移方案的优良性。我们还观察到,对于较小的目标数据集,我们相对其他方法的提升更高,使其成为可能受益于迁移学习的小数据应用的有效工具。
引用
@article{arxiv.2202.01011,
title = {Auto-Transfer: Learning to Route Transferrable Representations},
author = {Keerthiram Murugesan and Vijay Sadashivaiah and Ronny Luss and Karthikeyan Shanmugam and Pin-Yu Chen and Amit Dhurandhar},
journal= {arXiv preprint arXiv:2202.01011},
year = {2022}
}
备注
Camera ready ICLR 2022