预测 SIREN 的编码误差

隐式神经表示（INR）将图像、视频和 3D 形状等信号编码在神经网络的权重中，正变得越来越流行。在其众多应用中包含信号压缩，人们对此有着极大的兴趣，即在神经网络大小、训练（编码）和推理（解码）时间等约束条件下，实现对原始信号尽可能高的保真度。但是，训练 INR 可能是一个计算成本高昂的过程，这使得确定此类约束下的最佳权衡极具挑战性。为了实现这一目标，我们提出了一种方法，能够根据流行的 INR 网络（SIREN）的网络超参数和待编码信号，预测其将达到的编码误差。该方法在一个包含 300,000 个 SIREN 的独特数据集上训练，这些 SIREN 在各种图像和超参数下进行了训练。（数据集可在此处获取：https://huggingface.co/datasets/predict-SIREN-PSNR/COIN-collection。）我们的预测方法证明了该回归问题的可行性，并允许用户在几毫秒内（而非几分钟或更长时间）预估 SIREN 网络将达到的编码误差。我们还提供了对 SIREN 网络行为的深入见解，例如为什么窄 SIREN 在编码误差上会有极高的随机变化，以及 SIREN 的性能如何与 JPEG 压缩相关联。