IConE：面向自监督表征学习的批次独立坍缩预防
计算机视觉与模式识别
2026-03-17 v1 机器学习
摘要
自监督学习（SSL）已彻底变革了表征学习，其中基于联合嵌入架构（Joint-Embedding Architectures, JEAs）的 method 正成为捕获语义特征的有效方法。现有 JEAs 依赖显式或隐式的批次交互——通过负采样或统计正则化——来防止表征坍缩。这种依赖在批次大小必须较小的情形下（如高维科学数据中，因内存限制和类别不平衡导致难以获得大规模且均衡的批次）变得颇具挑战。我们引入 IConE（Instance-Contrasted Embeddings），一个从训练批次大小中解耦坍缩预防的框架。不同于通过批次统计强制多样性，IConE 通过一个由显式多样性目标正则化的全局可学习辅助实例嵌入集合来维持多样性。将抗坍缩机制从瞬时批次转移到数据集级别的嵌入空间，从而即使在批次统计不可靠（批次大小可降至 1）时也能实现稳定训练。在多样化的 2D 和 3D 生物医学模态中，IConE 在小批次 regime（从 B=1 到 B=64）中超越了强大的对比式和非对比式基线，并在严重类别不平衡下表现出显著的鲁棒性。几何分析表明，IConE 在学习到的表征中保持了较高的内在维数，从而防止了当批次大小缩小时现有 JEAs 所观察到的坍缩现象。
引用
@article{arxiv.2603.15263,
title = {IConE: Batch Independent Collapse Prevention for Self-Supervised Representation Learning},
author = {Konstantinos Almpanakis and Anna Kreshuk},
journal= {arXiv preprint arXiv:2603.15263},
year = {2026}
}