FastSR-NeRF：通过简单超分辨率流水线提升消费级设备上的 NeRF 效率
计算机视觉与模式识别
2023-12-25 v2 图形学
摘要
超分辨率（SR）技术最近被提出用于放大神经辐射场（NeRF）的输出，并以增强的推理速度生成高质量图像。然而，现有的 NeRF+SR 方法通过使用额外的输入特征、损失函数和/或昂贵的训练过程（如知识蒸馏）增加了训练开销。在本文中，我们旨在利用 SR 获得效率提升，而无需昂贵的训练或架构变更。具体而言，我们构建了一个简单的 NeRF+SR 流水线，直接组合现有模块，并提出了一种轻量级的增强技术——随机补丁采样（random patch sampling）用于训练。与现有的 NeRF+SR 方法相比，我们的流水线减轻了 SR 计算开销，训练速度最快可提升 23 倍，使其能够在 Apple MacBook 等消费级设备上运行。实验表明，我们的流水线可以将 NeRF 输出放大 2-4 倍，同时保持高质量，在 NVIDIA V100 GPU 上推理速度最高提升 18 倍，在 M1 Pro 芯片上提升 12.8 倍。我们得出结论，SR 可以成为一种简单但有效的技术，用于提高消费级设备上 NeRF 模型的效率。
引用
@article{arxiv.2312.11537,
title = {FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline},
author = {Chien-Yu Lin and Qichen Fu and Thomas Merth and Karren Yang and Anurag Ranjan},
journal= {arXiv preprint arXiv:2312.11537},
year = {2023}
}
备注
WACV 2024 (Oral)