HyperNet Fields：通过学习权重轨迹来高效训练无需真实答案的Hypernetworks
机器学习
2025-05-21 v2
摘要
为了高效适应大型模型或训练神经表示的生成模型，Hypernetworks受到了关注。尽管Hypernetworks运行良好，但训练往往繁琐，通常需要针对每个样本的真实优化权重。然而，获取这些每个权重本身就是一个训练问题——需要训练例如适应权重或甚至整个神经场，以便Hypernetworks对其进行回归。在本工作中，我们提出了一种无需任何每个样本真实答案的方法来训练Hypernetworks。我们的关键思想是学习一个Hypernetwork场，并估计网络权重训练的整个轨迹，而不是仅仅其收敛状态。也就是说，我们向Hypernetwork引入一个额外的输入——收敛状态——使其作为一个神经场，建模任务网络整个收敛路径。通过这样做，一个关键好处是：在任何收敛状态下估计的权重的梯度必须与原始任务的梯度相匹配——这一约束本身就足以训练Hypernetwork场。我们通过个人化图像生成和从图像和点云进行3D形状重建等任务 demonstration了我们方法的有效性，在没有任何每个样本真实答案的情况下达到了竞争性的结果。
关键词
引用
@article{arxiv.2412.17040,
title = {HyperNet Fields: Efficiently Training Hypernetworks without Ground Truth by Learning Weight Trajectories},
author = {Eric Hedlin and Munawar Hayat and Fatih Porikli and Kwang Moo Yi and Shweta Mahajan},
journal= {arXiv preprint arXiv:2412.17040},
year = {2025}
}