利用元学习快速训练神经 Lumigraph 表示
计算机视觉与模式识别
2021-10-28 v2 图形学
机器学习
摘要
新视角合成是机器学习和计算机视觉中的一个长期问题。最近在开发神经场景表示和渲染技术方面取得了显著进展,可从任意视角合成照片级真实感图像。然而,这些表示训练极慢,且常渲染也慢。受基于图像的渲染的神经变体启发,我们开发了一种新的神经渲染方法,目标是快速学习高质量表示并能实时渲染。我们的方法 MetaNLR++ 通过使用神经形状表示与基于 2D CNN 的图像特征提取、聚合和重投影的独特组合来实现这一点。为将表示收敛时间压缩至数分钟,我们利用元学习来学习加速训练的神经形状和图像特征先验。然后可用传统图形技术提取优化的形状和图像特征并实时渲染。我们表明 MetaNLR++ 在竞争方法所需时间的极小一部分内取得了相似或更好的新视角合成结果。
引用
@article{arxiv.2106.14942,
title = {Fast Training of Neural Lumigraph Representations using Meta Learning},
author = {Alexander W. Bergman and Petr Kellnhofer and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2106.14942},
year = {2021}
}
备注
Project website: http://www.computationalimaging.org/publications/metanlr/