DNF：基于字典的神经场无条件 4D 生成
计算机视觉与模式识别
2024-12-09 v1 人工智能
摘要
尽管扩散模型在 3D 形状生成方面取得了显著成功，但 4D 生成建模仍面临由于物体随时间形变的复杂性而不易实现的挑战。我们提出了 DNF，一种用于无条件生成建模的新型 4D 表示方法，能够高效地对具有解耦形状与运动的可变形形状进行建模，同时捕获变形物体中高保真细节。为实现这一目标，我们提出了一种字典学习方法，以神经场解耦 4D 运动与形状。形状和运动均表示为学习到的潜在空间，其中每个可变形形状由其形状和运动全局潜在码、形状特定系数向量以及共享字典信息表示。这捕获了学习字典中所捕获的形状特定细节和全局共享信息。我们的字典表示在保真度、连续性和压缩率之间实现了良好平衡——结合基于转换器的扩散模型，我们的方法能够生成有效且高保真的 4D 动画。
引用
@article{arxiv.2412.05161,
title = {DNF: Unconditional 4D Generation with Dictionary-based Neural Fields},
author = {Xinyi Zhang and Naiqi Li and Angela Dai},
journal= {arXiv preprint arXiv:2412.05161},
year = {2024}
}
备注
Project page: https://xzhang-t.github.io/project/DNF/