增强VICReg：随机漫步配对以提升泛化与更好全局语义捕获
计算机视觉与模式识别
2025-06-24 v1 机器学习
摘要
本文我们认为，从谱嵌入视角观察 VICReg——一种流行的自监督学习（SSL）方法——可揭示其次优势的潜在来源：它可能因对训练数据过度依赖而难以对未见数据实现稳健泛化。这一观察引人深思，仔细考察该方法在实现对训练集外图像具有意义表示方面达到了多少目标。本文针对此问题进行了调查，并引入了 SAG-VICReg（Stable and Generalizable VICReg），该方法在VICReg基础上纳入了新的训练技术。这些增强措施提高了模型捕获数据中全局语义的能力，并强化了泛化能力。实验表明，SAG-VICReg 有效解决了泛化挑战，同时在多数基线模型上实现了匹配或超越。值得注意的是，我们的方法在旨在评估全局语义理解的指标上表现优异，同时在保持竞争性的局部评估指标结果方面也表现出色。此外，我们提出了一种新的独立评估指标用于嵌入，补充标准评估方法，同时考虑全局数据结构且无需标签——这一点在标记数据稀缺或不可用时尤为关键。
引用
@article{arxiv.2506.18104,
title = {Enhancing VICReg: Random-Walk Pairing for Improved Generalization and Better Global Semantics Capturing},
author = {Idan Simai and Ronen Talmon and Uri Shaham},
journal= {arXiv preprint arXiv:2506.18104},
year = {2025}
}