用于光场压缩的带量化的蒸馏低秩神经辐射场
计算机视觉与模式识别
2023-09-22 v3 多媒体
摘要
本文提出一种量化蒸馏低秩神经辐射场（QDLR-NeRF）表示，用于光场压缩任务。现有压缩方法对光场子孔径图像集合进行编码，而我们提出的方法以神经辐射场（NeRF）的形式学习隐式场景表示，这同时也支持视点合成。为减小其规模，该模型首先在低秩（LR）约束下，使用交替方向乘子法（ADMM）优化框架内的张量列（TT）分解进行学习。为进一步减小模型规模，需要对张量列分解的各分量进行量化。然而，同时考虑 NeRF 模型的优化以及低秩约束和率约束权重量化是具有挑战性的。为克服此困难，我们引入网络蒸馏操作，在网络训练期间将低秩近似与权重量化分离。初始 LR 约束 NeRF（LR-NeRF）的信息被蒸馏到基于 LR-NeRF 的 TT 分解、维度小得多的模型（DLR-NeRF）中。随后我们学习一个优化的全局码本以量化所有 TT 分量，生成最终的 QDLR-NeRF。实验结果表明，与最先进方法相比，我们所提方法取得了更好的压缩效率，并且还具有允许高质量合成任意光场视点的优势。
引用
@article{arxiv.2208.00164,
title = {Distilled Low Rank Neural Radiance Field with Quantization for Light Field Compression},
author = {Jinglei Shi and Christine Guillemot},
journal= {arXiv preprint arXiv:2208.00164},
year = {2023}
}