隐式神经表征的非参数化教学
机器学习
2024-05-20 v1 计算机视觉与模式识别
摘要
我们通过一种新颖的非参数化教学视角来学习隐式神经表征（INR），该方法使用过参数化的多层感知器（MLP）。后者为教学非参数化定义（即非闭合形式）目标函数（如由二维像素网格定义的图像函数）提供了高效的示例选择框架，以解决 INR 的高昂训练成本问题。我们提出了一种称为隐式神经教学（INT）的范式，将 INR 学习视为非参数化教学问题，其中给定的待拟合信号作为目标函数。教师随后选择信号片段，以迭代训练 MLP 以实现快速收敛。通过建立 MLP 通过基于参数的梯度下降演化与基于函数的梯度下降演化之间关系，我们首次展示了对过参数化 MLP 的教学与对非参数化学习者的教学是一致的。这一新发现 readily 允许将非参数化教学算法方便地应用于广泛增强 INR 训练效率，显示出在 various input modalities 上的30%以上的训练时间节省。
引用
@article{arxiv.2405.10531,
title = {Nonparametric Teaching of Implicit Neural Representations},
author = {Chen Zhang and Steven Tin Sui Luo and Jason Chun Lok Li and Yik-Chung Wu and Ngai Wong},
journal= {arXiv preprint arXiv:2405.10531},
year = {2024}
}
备注
ICML 2024 (24 pages, 13 figures)