面向群等变神经网络的自监督学习方法
计算机视觉与模式识别
2023-03-09 v1
摘要
本文提出了一种在群等变神经网络上构建自监督学习 pretext 任务的方法。群等变神经网络是指其结构被限制为与输入上的变换可交换的模型。因此,构建不与这种等变性相矛盾的自监督学习 pretext 任务十分重要。为确保训练与该等变性一致,我们为自监督任务提出两个概念:等变 pretext 标签与不变对比损失。等变 pretext 标签使用一组标签,可在其上定义与输入变化相对应的变换。不变对比损失使用一种改进的对比损失,吸收各输入上变换的影响。在标准图像识别基准上的实验表明,等变神经网络能够利用所提出的等变自监督任务。
引用
@article{arxiv.2303.04427,
title = {Self-Supervised Learning for Group Equivariant Neural Networks},
author = {Yusuke Mukuta and Tatsuya Harada},
journal= {arXiv preprint arXiv:2303.04427},
year = {2023}
}
备注
12 pages, 4 figures