PuzzleFusion：释放扩散模型在空间拼图求解中的威力
人工智能
2023-10-05 v3 计算机视觉与模式识别
摘要
本文提出一种基于扩散模型（Diffusion Models）的端到端神经架构，用于空间拼图求解，特别是拼图游戏与房间布局任务。在后一任务中，例如，所提出的系统“PuzzleFusion”将一组房间布局作为俯视图中的多边形曲线，并通过估计其二维平移与旋转来对齐房间布局块，类似于求解房间布局的拼图。本文一个令人惊讶的发现是，简单使用扩散模型即可作为条件生成过程有效求解这些具有挑战性的空间拼图任务。为实现端到端神经系统的学习，本文引入了带有真实排布的新数据集：1）二维 Voronoi 拼图数据集，一个合成数据集，其中块由二维点集的 Voronoi 图生成；2）MagicPlan 数据集，一个由 MagicPlan 从其生产流水线提供的真实数据集，其中块为由房地产消费者通过增强现实 App 构建的房间布局。定性与定量评估表明，我们的方法在所有任务中以显著优势优于对比方法。
引用
@article{arxiv.2211.13785,
title = {PuzzleFusion: Unleashing the Power of Diffusion Models for Spatial Puzzle Solving},
author = {Sepidehsadat Hosseini and Mohammad Amin Shabani and Saghar Irandoust and Yasutaka Furukawa},
journal= {arXiv preprint arXiv:2211.13785},
year = {2023}
}