自监督学习中的预训练编码器改进安全且隐私保护的有监督学习
密码学与安全
2022-12-08 v1 计算机视觉与模式识别
机器学习
摘要
有监督学习中的分类器存在多种安全与隐私问题，例如：1）安全方面的数据投毒攻击、后门攻击与对抗样本，以及2）隐私方面的推理攻击与训练数据的被遗忘权。已有各种带有形式化保证的安全且隐私保护的有监督学习算法被提出以应对这些问题。然而，它们存在诸多局限，如精度损失、认证安全保证小和/或效率低。自监督学习是一种利用无标签数据预训练编码器的新兴技术。给定预训练编码器作为特征提取器，有监督学习可使用少量有标签训练数据训练一个简单而准确的分类器。本工作中，我们开展了首个系统化、原理性的测量研究，以理解预训练编码器能否及何时解决安全或隐私保护有监督学习算法的局限。我们的关键发现是，预训练编码器显著改善了：1）最先进安全学习算法（即bagging与KNN）在无攻击下的精度以及针对数据投毒与后门攻击的认证安全保证；2）随机平滑针对对抗样本的认证安全保证且不牺牲其无攻击下精度；3）差分隐私分类器的精度；4）精确机器遗忘的精度和/或效率。
引用
@article{arxiv.2212.03334,
title = {Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning},
author = {Hongbin Liu and Wenjie Qu and Jinyuan Jia and Neil Zhenqiang Gong},
journal= {arXiv preprint arXiv:2212.03334},
year = {2022}
}