通过对抗不变正则化增强对抗对比学习
机器学习
2023-10-24 v2 密码学与安全
摘要
对抗对比学习（ACL）是一种通过引入对抗数据来增强标准对比学习（SCL）的技术，其学习到的鲁棒表示能够抵御对抗攻击与常见腐蚀，且无需昂贵的标注。为提升可迁移性，已有工作引入标准不变正则化（SIR）以对 SCL 施加风格无关性，从而使标准表示免受 nuisance 风格因素的影响。然而，风格无关性如何有益于 ACL 学到的鲁棒表示尚不清楚。本文中，我们利用因果推理技术来解释 ACL，并提出对抗不变正则化（AIR）以强制表示独立于风格因素。我们同时使用 SIR 与 AIR 对 ACL 进行正则化以输出鲁棒表示。理论上，我们证明 AIR 隐式地鼓励自然数据不同视图与其对抗变体之间的表示距离独立于风格因素。在实验上，我们的结果表明不变正则化在标准泛化与下游任务鲁棒性两方面均显著提升了最先进 ACL 方法的性能。据我们所知，我们首次将因果推理应用于解释 ACL 并发展出 AIR 以增强 ACL 学到的鲁棒表示。我们的源代码位于 https://github.com/GodXuxilie/Enhancing_ACL_via_AIR。
引用
@article{arxiv.2305.00374,
title = {Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization},
author = {Xilie Xu and Jingfeng Zhang and Feng Liu and Masashi Sugiyama and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2305.00374},
year = {2023}
}
备注
NeurIPS 2023