基于有限样本的自监督特征聚合学习
计算机视觉与模式识别
2021-03-26 v3
摘要
自监督学习(SSL)是一种有效的方法，可解决训练数据有限和标注短缺的问题。SSL 的关键部分在于其代理任务，该任务定义监督信号并驱动学习朝向有效的特征表示。然而，大多数 SSL 方法通常聚焦于单一代理任务，这极大限制了所学特征的表征能力，从而恶化了网络泛化能力。为此，我们从不同形式的互补性出发提出两种聚合策略，以增强自监督所学特征的鲁棒性。我们首先提出一个有限样本下多任务聚合自监督学习的规范化框架，以形成统一表示，旨在利用不同任务间的特征互补性。随后，在自聚合 SSL 中，我们提出基于线性居中核对齐度量的辅助损失函数对现有代理任务进行自我补充，其显式地促进探索当前代理任务所学特征未覆盖之处，以进一步提升建模能力。我们在有限数据与标注场景下的 2D 自然图像与 3D 医学图像分类任务上的大量实验证实，所提聚合策略成功提升了分类准确率。
引用
@article{arxiv.2012.07477,
title = {Aggregative Self-Supervised Feature Learning from a Limited Sample},
author = {Jiuwen Zhu and Yuexiang Li and S. Kevin Zhou},
journal= {arXiv preprint arXiv:2012.07477},
year = {2021}
}