ScatSimCLR：面向小规模数据集的基于 pretext task 正则化的自监督对比学习
计算机视觉与模式识别
2021-09-01 v1
摘要
在本文中，我们考虑基于数据多视图间对比损失的小规模数据集自监督学习问题，该方法在分类任务中展现出最先进的性能。尽管已有相关结果报道，但此类因素——如需要复杂架构的训练复杂性、数据增强所产生的视图数量及其对分类精度的影响——仍是研究不足的问题。为明确这些因素的作用，我们考虑一种如 SimCLR 这样的对比损失系统架构，其中基线模型被替换为具有几何不变性的“手工设计”网络 ScatNet 与小型可训练适配网络，并指出在几乎保持相同分类精度的同时，可大幅减少整个系统的参数量与视图数量。此外，我们研究了基于增强变换参数估计（如旋转与拼图置换）的 pretext task 学习正则化策略对传统基线模型与基于 ScatNet 的模型的影响。最后，我们证明所提出的带 pretext task 学习正则化的架构以更少的可训练参数与更少的视图数量实现了最先进的分类性能。
引用
@article{arxiv.2108.13939,
title = {ScatSimCLR: self-supervised contrastive learning with pretext task regularization for small-scale datasets},
author = {Vitaliy Kinakh and Olga Taran and Svyatoslav Voloshynovskiy},
journal= {arXiv preprint arXiv:2108.13939},
year = {2021}
}