基于元综合正则化的自监督表示学习
计算机视觉与模式识别
2024-03-05 v1
摘要
自监督学习(Self-Supervised Learning, SSL)方法利用数据增强策略，为同一输入的不同变形产生相似的表示，从而利用语义不变性的概念。本质上，模型捕获样本多个增强视图间的共享信息，同时忽略了可能对下游任务有益的非共享信息。为了解决这一问题，我们引入了一个名为 CompMod 的模块，其带有元综合正则化(Meta Comprehensive Regularization, MCR)，嵌入到现有的自监督框架中，使学习到的表示更加全面。具体而言，我们通过双层优化机制更新所提出的模型，使其能够捕获综合特征。此外，在最大熵编码对特征提取的约束引导下，自监督学习模型在学习一致特征的基础上学习更全面的特征。此外，我们从信息论和因果反事实视角为所提出的方法提供了理论支持。实验结果表明，我们的方法在多个基准数据集上的分类、目标检测和实例分割任务中均取得了显著提升。
引用
@article{arxiv.2403.01549,
title = {Self-Supervised Representation Learning with Meta Comprehensive Regularization},
author = {Huijie Guo and Ying Ba and Jie Hu and Lingyu Si and Wenwen Qiang and Lei Shi},
journal= {arXiv preprint arXiv:2403.01549},
year = {2024}
}