用于自监督表示学习的结构性对抗目标
计算机视觉与模式识别
2023-10-05 v2 机器学习
摘要
在生成对抗网络(GANs)框架下,我们提出若干目标,赋予判别器以额外的结构建模职责,从而用于自监督表示学习。结合施加于网络的高效平滑正则化器,这些目标引导判别器学习提取信息丰富的表示,同时保持能从该域中采样的生成器。具体而言,我们的目标鼓励判别器以两种粒度结构化特征:在粗尺度上对齐均值与方差等分布特性,在细尺度上将特征分组为局部簇。在 GAN 框架内作为特征学习器运作,使我们的自监督系统摆脱对比表示学习方法普遍依赖的精心设计的的数据增强方案。在 CIFAR-10/100 与 ImageNet 子集上的实验表明,为 GANs 配备我们的自监督目标,足以产生在表示学习评估中与对比学习方法训练的网络相竞争的判别器。
引用
@article{arxiv.2310.00357,
title = {Structural Adversarial Objectives for Self-Supervised Representation Learning},
author = {Xiao Zhang and Michael Maire},
journal= {arXiv preprint arXiv:2310.00357},
year = {2023}
}