重新思考基于部分信息分解框架的自监督学习
计算机视觉与模式识别
2024-12-04 v1
摘要
自监督学习（SSL）在从无标签数据中进行特征学习方面已展现出有效性。针对这一成功，关于互信息在 SSL 框架中的作用已有一些争论。一些工作主张增加不同增强视图表示之间的互信息；另一些工作则主张减少它们之间的互信息，同时增加与任务相关的互信息。我们思考了这一争论，并提出在部分信息分解（PID）框架下重新审视 SSL 的核心思想。因此，在 PID 框架下进行 SSL 时，我们提出用更为一般化的概念——联合互信息取代传统的互信息，以解决上述争论。我们对将 SSL 置于 PID 框架内的实例进行调查，通过在 SSL 模型中考虑 PID 的各个组成部分来提升现有管道。因此，我们提出了一个可以应用于改进现有基线方法的通用管道。该管道专注于从 PID 中提取唯一信息组件，以构建更低层次的监督以进行通用特征学习，并开发更高层次的监督信号以进行任务相关特征学习。从本质上说，这可解释为对局部和全局聚类的联合利用。在四个基线方法和四个数据集上的实验表明，我们的方法在改进现有 SSL 框架方面具有有效性和通用性。
引用
@article{arxiv.2412.02121,
title = {Rethinking Self-Supervised Learning Within the Framework of Partial Information Decomposition},
author = {Salman Mohamadi and Gianfranco Doretto and Donald A. Adjeroh},
journal= {arXiv preprint arXiv:2412.02121},
year = {2024}
}