通过数据增强改进权重空间网络的泛化能力
机器学习
2024-11-12 v2 人工智能
摘要
深度权重空间（DWS）中的学习——即神经网络处理其他神经网络的权重——是一个新兴的研究方向，应用于 2D 和 3D 神经场（INR、NeRF），以及对其他类型神经网络进行推断。遗憾的是，权重空间模型往往存在严重的过拟合问题。我们实证分析了这种过拟合的原因，发现一个关键原因是 DWS 数据集缺乏多样性。虽然一个给定的对象可以由许多不同的权重配置表示，但典型的 INR 训练集未能捕捉代表同一对象的不同 INR 之间的变异性。为了解决这个问题，我们探索了权重空间中的数据增强策略，并提出了一种适用于权重空间的 MixUp 方法。我们在两种设置下证明了这些方法的有效性。在分类任务中，它们提升性能的效果类似于拥有多达 10 倍的数据。在自监督对比学习中，它们在下游分类任务中带来了 5-10% 的显著提升。
引用
@article{arxiv.2402.04081,
title = {Improved Generalization of Weight Space Networks via Augmentations},
author = {Aviv Shamsian and Aviv Navon and David W. Zhang and Yan Zhang and Ethan Fetaya and Gal Chechik and Haggai Maron},
journal= {arXiv preprint arXiv:2402.04081},
year = {2024}
}
备注
Under Review