论无限深度 ResNet 的归纳偏置与瓶颈秩
机器学习
2025-02-03 v1 人工智能
机器学习
摘要
我们计算了深度线性 ResNet 的最小范数权重，并发现该架构的归纳偏置介于最小化核范数与秩之间。这表明，在适当的超参数下，深度非线性 ResNet 具有最小化瓶颈秩的归纳偏置。
引用
@article{arxiv.2501.19149,
title = {On the inductive bias of infinite-depth ResNets and the bottleneck rank},
author = {Enric Boix-Adsera},
journal= {arXiv preprint arXiv:2501.19149},
year = {2025}
}
备注
10 pages