LEGO-Net：学习房间中物体的规则化重排
计算机视觉与模式识别
2023-03-28 v2
摘要
人类普遍不喜欢清理杂乱房间这一任务。如果机器要帮助我们完成此任务，它们必须理解人类对规则化排布的标准，例如多种对称性、共线或共圆、线性或圆形图案中的间距均匀性，以及涉及风格与功能性的进一步物体间关系。此前该任务的方法依赖人类输入来显式指定目标状态，或从零合成场景——但这类方法未解决在不提供目标状态的情况下对现有杂乱场景的重排问题。在本文中，我们提出 LEGO-Net，一种数据驱动的基于 transformer 的迭代方法，用于学习（LEarning）杂乱房间中物体的规则化（reGular）重排（rearrangement）。LEGO-Net 部分受扩散模型启发——它从初始杂乱状态出发，迭代地“去噪”物体的位置与朝向至规则状态，同时减少移动距离。给定现有专业布置场景数据集中随机扰动的物体位置与朝向，我们的方法被训练以恢复规则重排。结果表明，我们的方法能够可靠地对房间场景重排并优于其他方法。我们额外提出一种利用数论工具评估房间布置规则性的度量。
引用
@article{arxiv.2301.09629,
title = {LEGO-Net: Learning Regular Rearrangements of Objects in Rooms},
author = {Qiuhong Anna Wei and Sijie Ding and Jeong Joon Park and Rahul Sajnani and Adrien Poulenard and Srinath Sridhar and Leonidas Guibas},
journal= {arXiv preprint arXiv:2301.09629},
year = {2023}
}
备注
Project page: https://ivl.cs.brown.edu/projects/lego-net