基于评分规则最小化的概率自监督学习
机器学习
2023-09-06 v1 机器学习
摘要
在本文中，我们提出了一种新颖的基于评分规则最小化（Scoring Rule Minimization）的概率自监督学习（ProSMIN），它利用概率模型的力量来提升表征质量并缓解表征坍缩。我们提出的方法涉及两个神经网络：在线网络与目标网络，它们通过知识蒸馏相互协作并从彼此中学习表征的多样分布。通过将输入样本以两种增强形式呈现，在线网络被训练以预测目标网络对同一样本在另一增强视角下的表征。两个网络通过我们基于恰当评分规则的新损失函数进行训练。我们为 ProSMIN 的收敛性提供了理论依据，证明了其修正评分规则的严格恰当性。这一见解验证了该方法的优化过程，并有助于其在提升表征质量方面的鲁棒性与有效性。我们在多种下游任务上评估我们的概率模型，例如分布内泛化、分布外检测、数据集损坏、少样本学习和迁移学习。我们的方法在 ImageNet-O 和 ImageNet-C 等大规模数据集的广泛实验中取得了优于自监督基线的准确率和校准度，ProSMIN 展现了其可扩展性与实际适用性。
引用
@article{arxiv.2309.02048,
title = {Probabilistic Self-supervised Learning via Scoring Rules Minimization},
author = {Amirhossein Vahidi and Simon Schoßer and Lisa Wimmer and Yawei Li and Bernd Bischl and Eyke Hüllermeier and Mina Rezaei},
journal= {arXiv preprint arXiv:2309.02048},
year = {2023}
}