中文

D'OH:用于隐式神经表示的纯解码器随机超网络

机器学习 2024-10-14 v2 计算机视觉与模式识别

摘要

深度隐式函数已被发现是高效编码各种自然信号的有效工具。其吸引力源于能够以极少甚至无需离线训练数据来紧凑表示信号。相反,它们利用深度网络的隐式偏置来解耦信号内隐藏的冗余。在本文中,我们探索了一个假设:通过利用层间存在的冗余可以实现进一步压缩。我们提出使用一种新颖的运行时纯解码器超网络——不使用离线训练数据——以更好地利用跨层参数冗余。以往将超网络与深度隐式函数结合的应用采用了前馈编码器/解码器框架,这些框架依赖于大型离线数据集,无法泛化至其训练信号之外。我们转而提出一种策略,通过纯解码器随机投影超网络 (D'OH) 优化单实例信号的运行时深度隐式函数。通过直接改变隐码维度,我们提供了一种自然的方式来改变神经表示的内存占用,而无需在替代低速率结构空间上进行代价高昂的神经架构搜索。

关键词

引用

@article{arxiv.2403.19163,
  title  = {D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations},
  author = {Cameron Gordon and Lachlan Ewen MacDonald and Hemanth Saratchandran and Simon Lucey},
  journal= {arXiv preprint arXiv:2403.19163},
  year   = {2024}
}

备注

29 pages, 17 figures