Dora：面向3D形状变分自编码器的采样与基准测试
计算机视觉与模式识别
2025-03-25 v3
摘要
近期的3D内容生成管道常采用变分自编码器(VAE)将形状编码为紧凑的潜表征，以用于基于扩散的生成。然而，广泛采用均匀点采样策略进行Shape VAE训练往往导致几何细节显著丢失，限制了形状重建和下游生成任务的质量。我们提出Dora-VAE，一种通过提出的锐利边缘采样策略和双交叉注意力机制增强VAE重建的新方法。通过识别和优先处理训练中具有高几何复杂度的区域，本方法显著提高了对细粒度形状特征的保留。这种采样策略和双注意力机制使VAE能够聚焦于通常被均匀采样方法遗漏的关键几何细节。为系统评估VAE重建质量，我们另提出Dora-bench基准，通过锐利边缘密度量化形状复杂度，引入以这些显著几何特征重建精度为导向的新指标。大量实验表明，Dora-VAE在重建质量上与最先进的稠密XCube-VAE持相当水平，仅需潜空间容量为8倍小（1,280 vs. >10,000个码）。
引用
@article{arxiv.2412.17808,
title = {Dora: Sampling and Benchmarking for 3D Shape Variational Auto-Encoders},
author = {Rui Chen and Jianfeng Zhang and Yixun Liang and Guan Luo and Weiyu Li and Jiarui Liu and Xiu Li and Xiaoxiao Long and Jiashi Feng and Ping Tan},
journal= {arXiv preprint arXiv:2412.17808},
year = {2025}
}
备注
Accepted by CVPR 2025. Project page: https://aruichen.github.io/Dora/