一种改进的迁移模型：随机可迁移机

基于特征的迁移是迁移学习中最有效的方法之一。现有研究通常假设所学新特征表示是域不变的，从而在源域上训练迁移模型$\mathcal{M}$。本文考虑一种更现实的场景，其中新特征表示是次优的且域间仍存在微小差异。我们提出一种称为随机可迁移机（Randomized Transferable Machine, RTM）的新迁移模型来处理此种域间微小差异。具体而言，我们基于现有基于特征的迁移方法所学得的新源域与目标域数据开展工作。其核心思想是通过使用某些噪声随机腐蚀新源域数据来扩充源训练数据总体，然后训练一个在所有被腐蚀源数据总体上均表现良好的迁移模型$\widetilde{\mathcal{M}}$。原则上，腐蚀越多，新目标数据被所构造源数据总体覆盖的概率越高，从而$\widetilde{\mathcal{M}}$可实现更好的迁移性能。理想情形为无穷次腐蚀，但这在现实中不可行。我们开发了一种边缘化解法，无需执行任何腐蚀即可训练$\widetilde{\mathcal{M}}$，且等价于使用无穷源噪声数据总体训练。我们进一步提出$\widetilde{\mathcal{M}}$的两种实例化，理论上展示了其相对于常规迁移模型$\mathcal{M}$的迁移优越性。更重要的是，两种实例化均具有闭式解，带来快速高效的训练过程。在多个真实世界迁移任务上的实验表明，RTM是一种有前景的迁移模型。