D'OH:用于隐式神经表示的纯解码器随机超网络
机器学习
2024-10-14 v2 计算机视觉与模式识别
摘要
深度隐式函数已被发现是高效编码各种自然信号的有效工具。其吸引力源于能够以极少甚至无需离线训练数据来紧凑表示信号。相反,它们利用深度网络的隐式偏置来解耦信号内隐藏的冗余。在本文中,我们探索了一个假设:通过利用层间存在的冗余可以实现进一步压缩。我们提出使用一种新颖的运行时纯解码器超网络——不使用离线训练数据——以更好地利用跨层参数冗余。以往将超网络与深度隐式函数结合的应用采用了前馈编码器/解码器框架,这些框架依赖于大型离线数据集,无法泛化至其训练信号之外。我们转而提出一种策略,通过纯解码器随机投影超网络 (D'OH) 优化单实例信号的运行时深度隐式函数。通过直接改变隐码维度,我们提供了一种自然的方式来改变神经表示的内存占用,而无需在替代低速率结构空间上进行代价高昂的神经架构搜索。
引用
@article{arxiv.2403.19163,
title = {D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations},
author = {Cameron Gordon and Lachlan Ewen MacDonald and Hemanth Saratchandran and Simon Lucey},
journal= {arXiv preprint arXiv:2403.19163},
year = {2024}
}
备注
29 pages, 17 figures