探讨等变性在自监督学习中的作用
机器学习
2024-11-12 v1 人工智能
计算机视觉与模式识别
信息论
math.IT
机器学习
摘要
对比式学习是自监督学习的主要范式之一, 但广泛观察到的现象是它以牺牲有用特征 (例如颜色) 为代价, 而对数据增广保持不变性. 鉴于这一局限性, 对等变自监督学习 (Equivariant Self-supervised Learning, E-SSL) 的兴趣日益增长, 该方法旨在学习具备增广感知能力的特征. 然而, 即使对于最简单的旋转预测方法, 也缺乏对 E-SSL 为何时如何学习有用特征以提高下游任务性能的严格理解. 为弥合实践与理论之间的鸿沟, 我们建立了信息论视角来理解 E-SSL 的泛化能力. 具体而言, 我们识别出 E-SSL 中一个关键的解释性消除效应, 它在等变任务和分类任务之间创建了协同效应. 这种协同效应鼓励模型提取与其等变预测相关的特征以提高其性能, 从而进一步受益于需要语义特征的下游任务. 基于这一视角, 我们理论分析了数据转换的影响, 并揭示了 E-SSL 实践设计的若干原则.我们的理论不仅与现有的 E-SSL 方法良好一致, 也为探索模型等变性优势开辟了新方向. 我们认为, 对等变性作用的理论依据深入的理解将激发更多原则性和先进的设计. 代码可在 https://github.com/kaotty/Understanding-ESSL 获取.
引用
@article{arxiv.2411.06508,
title = {Understanding the Role of Equivariance in Self-supervised Learning},
author = {Yifei Wang and Kaiwen Hu and Sharut Gupta and Ziyu Ye and Yisen Wang and Stefanie Jegelka},
journal= {arXiv preprint arXiv:2411.06508},
year = {2024}
}
备注
Accepted at NeurIPS 2024