DyLiN：使光场网络动态化
计算机视觉与模式识别
2023-03-28 v1
摘要
光场网络（Light Field Networks）作为辐射场面向定向射线的重新表述，比其坐标网络对应物快数个数量级，并且在从 2D 观测表示 3D 结构方面提供更高的保真度。它们本非常适合通用的场景表示与操控，但存在一个问题：仅限于整体且静态的场景。本文中，我们提出动态光场网络（Dynamic Light Field Network, DyLiN）方法，其可处理非刚性形变，包括拓扑变化。我们从输入射线学习到规范射线的形变场，并将其提升至高维空间以处理不连续性。我们进一步引入 CoDyLiN，其通过可控属性输入增强 DyLiN。我们通过从预训练的动态辐射场进行知识蒸馏来训练两个模型。我们使用包含各种非刚性形变的合成与真实世界数据集评估了 DyLiN。DyLiN 在视觉保真度上定性优于且定量匹配最先进的方法，同时计算速度快 25 至 71 倍。我们还在属性标注数据上测试了 CoDyLiN，其超越了教师模型。项目页面：https://dylin2023.github.io 。
引用
@article{arxiv.2303.14243,
title = {DyLiN: Making Light Field Networks Dynamic},
author = {Heng Yu and Joel Julin and Zoltan A. Milacski and Koichiro Niinuma and Laszlo A. Jeni},
journal= {arXiv preprint arXiv:2303.14243},
year = {2023}
}
备注
CVPR 2023