pix2gestalt：通过合成整体进行非模态分割
计算机视觉与模式识别
2024-01-26 v1 机器学习
摘要
我们提出了pix2gestalt，一个用于零样本非模态分割的框架，该框架学习估计仅部分可见于遮挡物后的完整物体的形状和外观。通过利用大规模扩散模型并将其表示迁移到此任务，我们学习了一个条件扩散模型，用于在具有挑战性的零样本情况下重建完整物体，包括那些打破自然和物理先验的例子，例如艺术品。作为训练数据，我们使用了一个合成策划的数据集，其中包含被遮挡的物体及其完整对应物。实验表明，我们的方法在已建立的基准测试上优于监督基线。此外，我们的模型可用于在存在遮挡的情况下显著提高现有物体识别和3D重建方法的性能。
引用
@article{arxiv.2401.14398,
title = {pix2gestalt: Amodal Segmentation by Synthesizing Wholes},
author = {Ege Ozguroglu and Ruoshi Liu and Dídac Surís and Dian Chen and Achal Dave and Pavel Tokmakov and Carl Vondrick},
journal= {arXiv preprint arXiv:2401.14398},
year = {2024}
}
备注
Website: https://gestalt.cs.columbia.edu/