Chirpy3D：面向创意细粒度物体生成的部件感知多视角扩散
计算机视觉与模式识别
2026-05-28 v3 图形学
摘要
理解和生成具有物种特定喙部、翅膀和尾巴等细粒度结构的物体，是计算机视觉中长期存在的挑战。我们提出 Chirpy3D，一种基于部件感知的多视角扩散框架，从未定位的 2D 图像中学习层次化部件潜在空间，仅使用即插即用的 2D 部件分割掩码作为空间指导，无需任何 3D 数据、摄像位姿或手动部件标注。该潜在空间支持直观的部件级交换、插值和零样本组合。进一步地，自监督特征一致性损失鼓励跨视角的结构对齐，使即使在混合或未见部件组合的情况下也能实现连贯生成。我们的核心贡献是可控的部件感知潜在空间和多视角扩散模型。下游 3D 生成通过任何可微渲染器（如 NeRF）实现，但与主框架正交，使 Chirpy3D 成为在缺乏结构化 3D 数据时用于创意物体生成的灵活基础。代码已发布于 https://github.com/kamwoh/chirpy3d。
引用
@article{arxiv.2501.04144,
title = {Chirpy3D: Part-Aware Multi-View Diffusion for Creative Fine-Grained Object Generation},
author = {Kam Woh Ng and Jing Yang and Jia Wei Sii and Chee Seng Chan and Jiankang Deng and Yi-Zhe Song and Tao Xiang and Xiatian Zhu},
journal= {arXiv preprint arXiv:2501.04144},
year = {2026}
}
备注
20 pages. Code at https://github.com/kamwoh/chirpy3d