无序不变隐式神经表示
摘要
隐式神经表示(implicit neural representation, INR)将信号的属性刻画为相应坐标的函数,已成为解决逆问题的利器。然而,INR 的表达能力受限于网络训练中的谱偏置。本文中,我们发现这一与频率相关的问题可通过重新排列输入信号的坐标而大幅解决,为此我们提出无序不变隐式神经表示(disorder-invariant implicit neural representation, DINER),在传统 INR 骨干网络中增加一个哈希表。给定共享相同属性直方图且排列顺序不同的离散信号,哈希表可将坐标投影到同一分布,使得后续 INR 网络能更好地建模映射后的信号,从而显著缓解谱偏置。此外,DINER 的表达能力由哈希表的宽度决定。不同宽度对应属性空间中的不同几何元素,例如当宽度分别设为 、 和 时,对应一维曲线、二维曲面和三维曲面体。几何元素覆盖面积越大,表达能力越强。实验不仅揭示了 DINER 对不同 INR 骨干网络(MLP 与 SIREN)和多种任务(图像/视频表示、相位恢复、折射率恢复和神经辐射场优化)的泛化能力,也展示了其在质量和速度上均优于当前最优算法。项目页面:\url{https://ezio77.github.io/DINER-website/}
引用
@article{arxiv.2304.00837,
title = {Disorder-invariant Implicit Neural Representation},
author = {Hao Zhu and Shaowen Xie and Zhen Liu and Fengyi Liu and Qi Zhang and You Zhou and Yi Lin and Zhan Ma and Xun Cao},
journal= {arXiv preprint arXiv:2304.00837},
year = {2023}
}
备注
Journal extension of the CVPR'23 highlight paper "DINER: Disorder-invariant Implicit Neural Representation". In the extension, we model the expressive power of the DINER using parametric functions in the attribute space. As a result, better results are achieved than the conference version. arXiv admin note: substantial text overlap with arXiv:2211.07871