LowDINO——一种低参数量自监督学习模型
计算机视觉与模式识别
2023-05-30 v1
摘要
本研究旨在探索设计一种神经网络架构的可能性，使小型网络能够具备在自监督学习（SSL）中表现成功的大型网络的特性，以用于图像分类、分割等所有下游任务。先前研究表明，使用卷积神经网络（ConvNets）可提供固有的归纳偏置，这对深度学习模型中的表征学习至关重要。为减少参数量，通过采用 MobileViT 模块利用注意力机制，从而得到参数量少于 500 万的模型。该模型使用带动量编码器的自蒸馏进行训练，并采用学生-教师架构，其中教师权重来自近期 SOTA SSL 模型的视觉Transformer（ViTs）。模型在 ImageNet1k 数据集上训练。本研究为设计更小、更高效的神经网络架构提供了一种方法，其执行 SSL 任务的能力可与重型模型相媲美。
引用
@article{arxiv.2305.17791,
title = {LowDINO -- A Low Parameter Self Supervised Learning Model},
author = {Sai Krishna Prathapaneni and Shvejan Shashank and Srikar Reddy K},
journal= {arXiv preprint arXiv:2305.17791},
year = {2023}
}