通过松散监督辅助任务实现自监督知识迁移
计算机视觉与模式识别
2021-10-26 v1
摘要
使用卷积神经网络（CNNs）的知识迁移有助于以更少参数高效训练CNN，或在有限监督下最大化泛化性能。为了在宽松条件下实现预训练知识更高效的迁移，我们提出了一种简单而强大的知识迁移方法，该方法对网络结构或使用的数据集无任何限制，即通过松散监督辅助任务的自监督知识迁移（SSKT）。为此，我们设计了一种训练方法，通过软标签的自监督将先前学习的知识作为目标任务的辅助任务迁移到当前训练过程中。SSKT独立于网络结构和数据集，且训练方式与现有知识迁移方法不同；因此，其优势在于从各种任务中获取的先验知识可在训练过程中自然迁移至目标任务。此外，它通过所提出的来自多个源网络的不同问题域之间的知识迁移，可提升大多数数据集上的泛化性能。在不同知识迁移设置下的实验中，SSKT优于其他迁移学习方法（KD、DML和MAXL）。源代码将公开。
引用
@article{arxiv.2110.12696,
title = {Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks},
author = {Seungbum Hong and Jihun Yoon and Junmo Kim and Min-Kook Choi},
journal= {arXiv preprint arXiv:2110.12696},
year = {2021}
}
备注
Accepted at WACV 2022