完美均衡：改善监督对比学习的迁移性与鲁棒性
机器学习
2022-07-15 v2 机器学习
摘要
理想的习得表征应展现可迁移性与鲁棒性。监督对比学习 (SupCon) 是一种训练精确模型的有前景的方法，但由于类坍缩——即一类中所有点映射到同一表征——其产生的表征不具备这些性质。近期工作表明将这些表征“散开”可改善它们，但精确机制尚不清楚。我们认为仅制造散开不足以获得更好表征，因为散开在类内置换下不变。相反，正确程度的散开与打破该不变性的机制二者皆必要。我们首先证明向 SupCon 添加加权类条件 InfoNCE 损失可控制散开程度。接着，我们研究三种打破置换不变性的机制：使用受限编码器、添加类条件自编码器，以及使用数据增强。我们展示后两者比前者在更现实条件下鼓励潜在子类的聚类。利用这些见解，我们展示向 SupCon 添加适当加权的类条件 InfoNCE 损失与类条件自编码器，在 5 个标准数据集上实现粗到细迁移 11.1 分的提升，在 3 个数据集上实现最差组鲁棒性 4.7 分的提升，并在 CelebA 上以 11.5 分树立最先进水平。
引用
@article{arxiv.2204.07596,
title = {Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning},
author = {Mayee F. Chen and Daniel Y. Fu and Avanika Narayan and Michael Zhang and Zhao Song and Kayvon Fatahalian and Christopher Ré},
journal= {arXiv preprint arXiv:2204.07596},
year = {2022}
}
备注
ICML 2022 Camera Ready