CoordX：以拆分MLP架构加速隐式神经表示
计算机视觉与模式识别
2022-02-01 v1 机器学习
摘要
基于多层感知机（MLP）的隐式神经表示近来在如新视角合成、3D物体表示与渲染等多种任务中备受关注。然而，这类表示的一个重大挑战是：用MLP在大量输入坐标上学习和表示图像、视频或3D物体，其训练与推理均需海量计算并导致漫长处理时间。本文旨在通过对基于坐标的MLP提出一种新的拆分MLP架构CoordX，来加速隐式神经表示的推理与训练。借助CoordX，初始层被拆分以分别学习输入坐标的各个维度。随后由最后几层融合中间特征，以在相应坐标点生成所学信号。这显著减少了所需计算量，并在达到与基线MLP相近精度的同时带来训练与推理的大幅加速。该方法因而先学习原始信号的分解函数，再融合以生成所学信号。我们所提架构可普遍用于诸多隐式神经表示任务，且无额外内存开销。我们在图像、视频与3D形状表示及渲染任务上展示了相较基线模型最高2.92倍的加速。
引用
@article{arxiv.2201.12425,
title = {CoordX: Accelerating Implicit Neural Representation with a Split MLP Architecture},
author = {Ruofan Liang and Hongyi Sun and Nandita Vijaykumar},
journal= {arXiv preprint arXiv:2201.12425},
year = {2022}
}