基于混合专家训练的神经网络隐式字典
计算机视觉与模式识别
2022-07-11 v1
摘要
基于坐标的深度全连接网络来表示视觉信号，已被证明比基于离散网格的表示在拟合复杂细节和解决逆问题方面更具优势。然而，获取这种连续的隐式神经表示（Implicit Neural Representation, INR）需要在大量信号测量上进行繁琐的逐场景训练，这限制了其实用性。在本文中，我们提出了一个通用的 INR 框架，通过从数据集合中学习神经网络隐式字典（Neural Implicit Dictionary, NID）并将 INR 表示为从字典中采样得到的基的函数组合，从而实现数据和训练效率。我们的 NID 组装了一组基于坐标的子网络，这些子网络经过调整以张成所需的函数空间。训练后，可以通过求解编码系数即时且鲁棒地获取未见场景的表示。为了并行优化大量网络，我们借鉴混合专家（Mixture-of-Expert, MoE）的思想，通过稀疏门控机制设计并训练我们的网络。我们的实验表明，NID 能够以快 2 个数量级的速度、少至 98% 的输入数据来改进 2D 图像或 3D 场景的重建。我们进一步展示了 NID 在图像修复和遮挡去除中的各种应用，这些被认为在使用普通 INR 时具有挑战性。我们的代码可在 https://github.com/VITA-Group/Neural-Implicit-Dict 获取。
引用
@article{arxiv.2207.03691,
title = {Neural Implicit Dictionary via Mixture-of-Expert Training},
author = {Peihao Wang and Zhiwen Fan and Tianlong Chen and Zhangyang Wang},
journal= {arXiv preprint arXiv:2207.03691},
year = {2022}
}
备注
International Conference on Machine Learning (ICML), 2022