从自监督集成中学习丰富的近邻表示
机器学习
2021-10-22 v1 计算机视觉与模式识别
摘要
通过自监督预训练卷积神经网络并将其应用于迁移学习，是一个飞速增长的领域，正快速且迭代地提升几乎所有图像域的性能。与此同时，模型集成是监督学习文献与实践中适用性最广的技术之一，提供了可靠提升性能的简单方案。但如何最优组合自监督模型以最大化表示质量，在很大程度上仍未得到解决。本工作中，我们提供一种框架，通过一种在推理时直接经梯度下降学习表示的新型方法来实现自监督模型集成。该技术提升了表示质量（以k近邻衡量），无论在域内数据集还是迁移设定下皆然，且模型可从前者设定迁移至后者。此外，这种通过反向传播直接学习特征的方式，甚至能改善单一模型的表示，呼应了自蒸馏中所见的改进。
引用
@article{arxiv.2110.10293,
title = {Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles},
author = {Bram Wallace and Devansh Arpit and Huan Wang and Caiming Xiong},
journal= {arXiv preprint arXiv:2110.10293},
year = {2021}
}