自监督学习中的特征多样性
机器学习
2022-09-07 v1 人工智能
摘要
许多关于缩放定律的研究考虑模型大小、模型形状、数据集大小和计算力等基本因素。这些因素易于调参，并代表了任何机器学习设置的基本要素。但研究者也采用更复杂的因素来以高可预测性估计测试误差与泛化性能。这些因素通常特定于领域或应用。例如，特征多样性主要由 Chen 等人（2021）用于促进仿真到真实（syn-to-real）的迁移。鉴于先前工作中定义的众多缩放因素，考察这些因素在基于CNN模型的自监督学习背景下如何影响整体泛化性能将很有趣。个别因素如何促进泛化，包括改变深度、宽度或采用早停的训练轮数？例如，更高的特征多样性是否在除仿真到真实迁移之外的复杂设定中也能带来更高准确率？这些因素如何相互依赖？我们发现最后一层在整个训练过程中最具多样性。然而，虽然模型测试误差随训练轮数增加而下降，其多样性却降低。我们还发现多样性与模型宽度直接相关。
引用
@article{arxiv.2209.01275,
title = {Feature diversity in self-supervised learning},
author = {Pranshu Malviya and Arjun Vaithilingam Sudhakar},
journal= {arXiv preprint arXiv:2209.01275},
year = {2022}
}
备注
Accepted at 1st Conference on Lifelong Learning Agents, 2022 - Workshop Track