Hyper3D：基于混合三视图和八叉树特征的高效3D表示以增强3D形状变分自编码器
计算机视觉与模式识别
2025-03-14 v1
摘要
近期的3D内容生成管道常常利用变分自编码器（VAE）将形状编码为紧凑的潜在表示，以实现扩散式生成。高效压缩3D形状而又保留细致几何细节仍是关键挑战。现有的3D形状VAE常采用均匀点采样和1D/2D潜在表示，如向量集或三视图，导致因表面覆盖不足以及潜在空间缺乏显式3D表示而产生显著的几何细节丢失。尽管近期研究探索了3D潜在表示，但其规模大致阻碍了高分辨率编码和高效训练。鉴于上述挑战，我们引入Hyper3D，通过高效3D表示集成混合三视图和八叉树特征，增强VAE的重构效果。首先，我们采用基于八叉树的特征表示将网格信息嵌入网络，从而缓解均匀点采样在捕获沿网格表面的几何分布方面的局限性。此外，我们提出一种混合潜在空间表示，将高分辨率三视图与低分辨率3D网格集成。该设计不仅弥补了显式3D表示的不足，还利用三视图保留高分辨率细节。实验结果表明，Hyper3D优于传统表示方法，能够以更高的保真度和更细致的细节重构3D形状，使其适用于3D生成管道。
引用
@article{arxiv.2503.10403,
title = {Hyper3D: Efficient 3D Representation via Hybrid Triplane and Octree Feature for Enhanced 3D Shape Variational Auto-Encoders},
author = {Jingyu Guo and Sensen Gao and Jia-Wang Bian and Wanhu Sun and Heliang Zheng and Rongfei Jia and Mingming Gong},
journal= {arXiv preprint arXiv:2503.10403},
year = {2025}
}