TreeSBA：用于自监督顺序砖块装配的树形 Transformer
计算机视觉与模式识别
2024-07-23 v1
摘要
从图像推断出用于组装由原始砖块构成的3D对象的逐步动作是一项具有挑战性的任务，由于复杂的约束条件和大量可能的组合。最近的研究通过利用 LEGO-Graph 模型来预测 LEGO 砖块的顺序装配动作，取得了令人鼓舞的成果。然而，现有方法是特定类的，需要大量的计算资源和3D标注资源。本文首先提出一种计算效率高的广度优先搜索（BFS）LEGO-Tree 结构，通过考虑连续图层之间的连接来建模顺序装配动作。基于 LEGO-Tree 结构，我们设计了一个类无关的树形 Transformer 框架，从输入的多视角图像中预测顺序装配动作。顺序砖块装配任务的一个主要挑战在于，逐步动作标签在实际中成本高昂且繁琐。我们通过利用合成到真实的迁移学习来缓解这一问题。具体而言，该模型首先在带有完整监督动作标签的合成数据上进行预训练。随后，我们提出一种动作到剪影的投影方法，用输入图像的剪影取代动作标签，以实现自监督。该模型在没有真实数据标注的情况下，在 MNIST 和 ModelNet 建筑数据集上分别比现有具有3D监督的方法提高了7.8%和11.3%的mIoU。
引用
@article{arxiv.2407.15648,
title = {TreeSBA: Tree-Transformer for Self-Supervised Sequential Brick Assembly},
author = {Mengqi Guo and Chen Li and Yuyang Zhao and Gim Hee Lee},
journal= {arXiv preprint arXiv:2407.15648},
year = {2024}
}
备注
ECCV 2024