双下降现象是否出现在自监督学习中？
机器学习
2023-07-18 v1 人工智能
摘要
大多数关于双下降（double descent）的研究集中于监督模型，而少数研究自监督设置的工作惊讶地发现该现象缺失。这些结果暗示双下降可能不存在于自监督模型中。我们使用标准自编码器和线性自编码器这两种此前未被研究的设置，从经验上证明了这一点。测试损失呈现经典的 U 形或单调下降，而非展现双下降曲线。我们希望未来关于此的工作有助于阐明该现象的理论基础。
引用
@article{arxiv.2307.07872,
title = {Does Double Descent Occur in Self-Supervised Learning?},
author = {Alisia Lupidi and Yonatan Gideoni and Dulhan Jayalath},
journal= {arXiv preprint arXiv:2307.07872},
year = {2023}
}
备注
7 pages, 2 tables, 3 figures. Accepted for the workshop on High-Dimensional Learning Dynamics at ICML 2023