SSL模型有似曾相识之感吗？自监督学习中的非预期记忆化现象研究
计算机视觉与模式识别
2023-12-14 v3 密码学与安全
机器学习
摘要
自监督学习(SSL)算法可通过学习将自然图像的不同部分相互关联来产生有用的图像表示。然而，在极端情况下，SSL模型可能非预期地记忆个体训练样本中的特定部分，而非学习具有语义意义的关联。在本工作中，我们对SSL模型中图像特定信息的非预期记忆化进行了系统性研究——我们称之为似曾相识(déjà vu)记忆化。具体而言，我们表明，给定训练好的模型以及仅包含背景（例如水、天空、草地）的训练图像的一个裁剪块，能够以高准确率推断前景物体甚至将其视觉重建。此外，我们表明似曾相识记忆化在不同SSL算法中普遍存在，被某些设计选择所加剧，且无法通过评估表示质量的常规技术检测到。我们对似曾相识记忆化的研究揭示了SSL模型中先前未知的隐私风险，并提出了潜在的实用缓解策略。代码见 https://github.com/facebookresearch/DejaVu。
引用
@article{arxiv.2304.13850,
title = {Do SSL Models Have D\'ej\`a Vu? A Case of Unintended Memorization in Self-supervised Learning},
author = {Casey Meehan and Florian Bordes and Pascal Vincent and Kamalika Chaudhuri and Chuan Guo},
journal= {arXiv preprint arXiv:2304.13850},
year = {2023}
}