基于三平面的混合神经微分同胚流形状表示与生成
计算机视觉与模式识别
2023-07-06 v1
摘要
深度隐式函数（DIFs）因其紧凑性与连续表示能力在三维计算机视觉中日益流行。然而，解决 DIF 编码形状间的稠密对应与语义关系仍是一项关键挑战，限制了其在纹理迁移与形状分析中的应用。此外，近期使用 DIFs 进行三维形状生成的尝试常忽视对应与拓扑保持。本文提出 HNDF（混合神经微分同胚流，Hybrid Neural Diffeomorphic Flow），一种隐式学习底层表示并将复杂稠密对应分解为显式轴对齐三平面特征的方法。为避免陷入局部极小值的次优表示，我们提出捕获局部与全局对应的混合监督。不同于直接生成新三维形状的传统方法，我们进一步探索通过微分同胚流形变模板形状来实现形状生成的思路，其中形变由生成的三平面特征编码。借助已有的二维扩散模型，我们通过生成的三平面特征产生高质量且多样的三维微分同胚流，确保与模板形状的拓扑一致性。在医学图像器官分割数据集上的大量实验评估了 HNDF 在三维形状表示与生成中的有效性。
引用
@article{arxiv.2307.01957,
title = {Hybrid Neural Diffeomorphic Flow for Shape Representation and Generation via Triplane},
author = {Kun Han and Shanlin Sun and Xiaohui Xie},
journal= {arXiv preprint arXiv:2307.01957},
year = {2023}
}