ASIA：基于少量图像标注的自适应 3D 分段

我们提出 ASIA（Adaptive 3D Segmentation using few Image Annotations），一种新型框架，使能够对 3D 中的可能非语义且不可通过文本描述的“部件”进行分段。我们的分段方法通过少量用户在野外图像上的标注进行控制，这些标注比多视图图像更易收集、比 3D 模型更不要求精确标注、也比可能含歧义的文本描述更精确。我们利用文本到图像扩散模型（如 Stable Diffusion）丰富的先验条件，将图像空间中的分段传递到 3D 空间，即使标注对象与目标对象在几何或结构上差异显著。训练时，我们为每个分段优化一个文本标记并通过一种新颖的跨视图部件对应损失进行模型微调。在推理阶段，我们对 3D 网格的多视图渲染进行分段，通过投票方法在 UV 空间中融合标签，利用我们新引入的 Noise Optimization 技术进行细化，最后将 UV 标签映射回网格。ASIA 为语义和非语义 3D 分段任务提供了一个实用且可泛化的解决方案，在定性和定量评估中均显著优于现有方法。