FUSSL：模糊不确定性自监督学习
计算机视觉与模式识别
2022-10-31 v1 机器学习
摘要
自监督学习（SSL）已成为利用无标注数据强大能力且无需标注投入的一项非常成功的技术。许多已发展的方法以超越监督替代方案为目标不断演进，并取得了一定成功。SSL 的一个主要问题是在不同设定下的鲁棒性。本文首次认识到 SSL 因使用单一监督信号而产生的根本局限。为应对此局限，我们利用不确定性表示的威力，为任意 SSL 基线设计了一种鲁棒且通用的标准分层学习/训练协议，而无论其假设与方法如何。本质上，基于信息瓶颈原理，我们将特征学习分解为具有不同监督信号的两阶段训练过程。这种双重监督方法体现在两个关键步骤：1）对数据增强的不变性强制，以及 2）模糊伪标注（硬标注与软标注）。这一简单而有效的协议可实现跨类/跨簇特征学习，其具体实现为：首先通过对数据增强不变性强制训练模型集成作为第一阶段，随后为原始样本分配模糊标签作为第二阶段。我们考虑了多种双重监督的替代场景，并在近期基线（涵盖几何、对比、非对比以及硬/软白化（冗余约简）四类不同 SSL 范式）上评估了方法有效性。多设定下的广泛实验表明，所提训练协议能一致地提升原有基线的性能，且独立于其各自底层原理。
引用
@article{arxiv.2210.15818,
title = {FUSSL: Fuzzy Uncertain Self Supervised Learning},
author = {Salman Mohamadi and Gianfranco Doretto and Donald A. Adjeroh},
journal= {arXiv preprint arXiv:2210.15818},
year = {2022}
}
备注
Accepted to WACV 2023