面向可裁剪的隐式神经表示
计算机视觉与模式识别
2024-10-24 v2 机器学习
摘要
隐式神经表示(INRs)因其使用神经网络对自然信号进行编码的能力而在最近几年呈倍增趋势。虽然 INRs 允许进行有用的应用,如坐标插值和信号压缩,但其黑箱本质使得在训练后对其进行修改变得困难。本文我们探索了可编辑 INRs 的想法,特别关注广泛使用的裁剪操作。为此,我们提出了 Local-Global SIRENs -- 一种支持裁剪的新型 INR 架构。Local-Global SIRENs 基于结合局部和全局特征提取来进行信号编码。其独特之处在于能够轻松地删除编码信号的特定部分,并按比例减小权重。这通过消除网络中相应的权重来实现,不需要重新训练。我们进一步展示了该架构如何用于支持以前编码信号的简单扩展。除了信号编辑之外,我们还检查了 Local-Global 方法如何加速训练、增强各种信号的编码、提高下游性能以及应用于现代 INR 如 INCODE,从而凸显其潜力和灵活性。代码可在 https://github.com/maorash/Local-Global-INRs 获取。
引用
@article{arxiv.2409.19472,
title = {Towards Croppable Implicit Neural Representations},
author = {Maor Ashkenazi and Eran Treister},
journal= {arXiv preprint arXiv:2409.19472},
year = {2024}
}
备注
Accepted to NeurIPS 2024