SSL视觉编码器中记忆的定位
机器学习
2024-12-13 v3 计算机视觉与模式识别
摘要
近期关于研究自监督学习（SSL）中记忆现象的工作表明，尽管SSL编码器在数百万张图像上进行训练，它们仍会记住单个数据点。尽管已有努力对被记忆的数据进行表征并将编码器记忆与下游效用联系起来，但关于记忆在SSL编码器内部何处发生仍知之甚少。为填补这一空白，我们提出了两个指标，用于在逐层和逐单元的基础上定位SSL编码器中的记忆。我们的定位方法独立于下游任务，不需要任何标签信息，并且可以在前向传播中完成。通过在多种数据集上以对比和非对比SSL框架训练的各种编码器架构（卷积和基于Transformer的）中定位记忆，我们发现：（1）尽管SSL记忆随网络层深度而增加，但高度记忆单元分布在整个编码器中；（2）SSL编码器中相当一部分单元对单个数据点表现出惊人的高记忆度，这与在监督下训练的模型形成对比；（3）非典型（或离群）数据点引起的层和单元记忆远高于标准数据点；（4）在视觉Transformer中，大部分记忆发生在全连接层。最后，我们展示了在SSL中定位记忆具有改善微调并为剪枝策略提供信息的潜力。
引用
@article{arxiv.2409.19069,
title = {Localizing Memorization in SSL Vision Encoders},
author = {Wenhao Wang and Adam Dziedzic and Michael Backes and Franziska Boenisch},
journal= {arXiv preprint arXiv:2409.19069},
year = {2024}
}
备注
Accepted at NeurIPS 2024