基于主动学习的渐进式体蒸馏用于高效 NeRF 架构转换
计算机视觉与模式识别
2024-05-21 v2
摘要
神经辐射场（NeRF）已广泛作为实用且通用的 3D 场景表示，助力多种下游任务。然而，不同架构——包括普通多层感知机（MLP）、张量、低秩张量、哈希表及其组合——存在不同的权衡。例如，基于哈希表的表示渲染更快但缺乏明确几何意义，从而给空间关系感知编辑带来挑战。为克服此局限并最大化各架构潜力，我们提出渐进式体蒸馏与主动学习（PVD-AL），一种支持多样架构间任意到任意转换的系统化蒸馏方法。PVD-AL 将每种结构拆为两部分，并利用渲染过程中获取的有效信息，从较浅到较深层渐进执行体表示蒸馏。此外，三级主动学习技术在蒸馏过程中提供从教师到学生的持续反馈，取得高性能结果。实验证据展示了我们的方法在多个基准数据集上的有效性。例如，PVD-AL 从基于哈希表的模型蒸馏基于 MLP 的模型，比从头训练 MLP 模型快 10~20 倍且 PSNR 高 0.8dB~2dB。而且，PVD-AL 允许融合不同结构间的多样特征，使模型具备多种编辑属性，并提供更高效模型以满足移动设备等实时需求。项目网站：https://sk-fun.fun/PVD-AL。
引用
@article{arxiv.2304.04012,
title = {Progressive Volume Distillation with Active Learning for Efficient NeRF Architecture Conversion},
author = {Shuangkang Fang and Yufeng Wang and Yi Yang and Weixin Xu and Heng Wang and Wenrui Ding and Shuchang Zhou},
journal= {arXiv preprint arXiv:2304.04012},
year = {2024}
}
备注
Project website: https://sk-fun.fun/PVD-AL