NeRN——为神经网络学习神经表示
机器学习
2023-04-24 v2 计算机视觉与模式识别
摘要
神经表示近来已被证明可有效重建从 3D 网格与形状到图像和视频的广泛信号。我们表明，在恰当适配后，神经表示可用于直接表示预训练卷积神经网络的权重，从而得到一种用于神经网络的神经表示（NeRN）。受先前神经表示方法的坐标输入启发，我们依据每个卷积核在架构中的位置为其分配一个坐标，并优化一个预测网络将坐标映射到对应权重。类似于视觉场景的空间平滑性，我们表明对原始网络权重引入平滑性约束有助于 NeRN 获得更好的重建。此外，由于预训练模型权重的轻微扰动可能导致显著的精度损失，我们采用知识蒸馏领域的技术来稳定学习过程。我们在 CIFAR-10、CIFAR-100 和 ImageNet 上展示了 NeRN 重建广泛使用架构的有效性。最后，我们给出了两个使用 NeRN 的应用，展示了所学表示的能力。
引用
@article{arxiv.2212.13554,
title = {NeRN -- Learning Neural Representations for Neural Networks},
author = {Maor Ashkenazi and Zohar Rimon and Ron Vainshtein and Shir Levi and Elad Richardson and Pinchas Mintz and Eran Treister},
journal= {arXiv preprint arXiv:2212.13554},
year = {2023}
}