对比学习中隐私风险的量化与缓解

数据是过去十年推动机器学习（ML）发展的关键因素。然而，高质量数据，尤其是标注数据，往往难以收集且成本高昂。为利用大规模无标注数据，以对比学习为代表的自监督学习被引入。对比学习的目标是将训练样本衍生的不同视图（例如通过数据增强）在其表示空间中映射得更近，而将不同样本衍生的视图映射得更远。如此，对比模型学会为数据样本生成信息丰富的表示，这些表示随后被用于执行下游 ML 任务。近期研究表明，机器学习模型易受各种隐私攻击。然而，当前多数工作集中于以监督学习训练的模型。同时，通过对比学习学到的数据样本信息丰富表示也可能引发严重隐私风险。本文通过成员推断与属性推断的视角，首次对对比学习进行隐私分析。实验结果表明，与监督模型相比，在图像数据集上训练的对比模型对成员推断攻击的脆弱性较低，但对属性推断攻击的脆弱性较高。前者源于对比模型较不易过拟合，后者则由对比模型对数据样本的表现力表示能力所致。为补救此情况，我们提出首个依赖对抗训练的隐私保护对比学习机制 Talos。实证结果显示，Talos 能成功缓解对比模型的属性推断风险，同时保持其成员隐私与模型效用。