将语义先验编码到隐式神经表示的权重中

隐式神经表示（Implicit Neural Representation, INR）最近作为一种信号表示的新兴范式，接收坐标作为输入并生成对应的信号值。由于这些坐标不包含语义特征，INR 无法考虑任何语义信息。然而，语义信息已被证明在许多视觉任务中至关重要，尤其是对于视觉信号表示而言。本文提出了一种称为 SPW 的重参数化方法，将语义先验编码到 INR 的权重中，从而使 INR 隐式地包含语义信息并增强其表征能力。具体而言，SPW 使用语义神经网络（Semantic Neural Network, SNN）提取目标视觉信号的低层和高层语义信息并生成语义向量，将其输入到权重生成网络（Weight Generation Network, WGN）中，以生成 INR 模型的权重。最终，INR 使用带有语义先验的生成权重将坐标映射到信号值。在训练完成后，我们仅保留生成的权重，放弃 SNN 和 WGN，从而 SPW 在推理过程中不引入额外开销。实验结果表明，SPW 在包括图像拟合、CT 重建、MRI 重建和新视角合成等多个任务上，显著提高了各种 INR 模型的性能。进一步的实验表明，带有 SPW 的模型权重冗余更低，学习了更多新颖的表征，验证了 SPW 的有效性。