自监督预训练在流式数据下的表现如何？
机器学习
2022-07-22 v3 计算机视觉与模式识别
摘要
先前关于自监督预训练的工作聚焦于联合训练场景，即假设海量无标签数据一次性全部给定作为输入，之后才训练学习器。遗憾的是，若非不可行，此类问题设定在许多现实任务中往往也不切实际，因为许多真实任务依赖顺序学习，例如数据去中心化或以流式方式收集。本文中，我们对流式数据下的自监督预训练进行了首次透彻且专门的探究，旨在阐明这一被忽视设定下模型的行为。具体而言，我们在来自ImageNet与DomainNet的四类预训练流式数据上预训练了超过500个模型，并在三类下游任务与12个不同下游数据集上评估它们。我们的研究表明，某种程度上超出预期，借助简单的数据重放或参数正则化，顺序自监督预训练被证明是联合预训练的高效替代方案，因为前者性能大多与后者持平。此外，顺序监督学习中常见的灾难性遗忘在顺序自监督学习（SSL）中得到大幅缓解，这通过我们对表征及损失景观中极小值锐度的全面实证分析得到了充分佐证。因此，我们的发现表明，在实践中，对于SSL，繁琐的联合训练可主要由顺序学习替代，这反过来使得远更广的潜在应用场景成为可能。
引用
@article{arxiv.2104.12081,
title = {How Well Does Self-Supervised Pre-Training Perform with Streaming Data?},
author = {Dapeng Hu and Shipeng Yan and Qizhengqiu Lu and Lanqing Hong and Hailin Hu and Yifan Zhang and Zhenguo Li and Xinchao Wang and Jiashi Feng},
journal= {arXiv preprint arXiv:2104.12081},
year = {2022}
}
备注
Accepted to ICLR 2022