Image2Lego：从图像生成定制化乐高套装
计算机视觉与模式识别
2021-08-20 v1 机器学习
摘要
尽管乐高套装娱乐了几代儿童与成人，但设计匹配真实世界或想象场景复杂度的定制拼搭作品对普通爱好者而言挑战仍过大。为使这一壮举成为可能，我们实现了一个从2D图像生成乐高积木模型的系统。我们设计了一种新颖的解决方案：使用在3D体素化模型上训练的八叉树结构自编码器获得用于模型重建的可行潜表示，以及另一个训练用于从2D图像预测该潜表示的网络。乐高模型通过从3D体素化模型到积木的算法转换获得。我们展示了前所未有的从照片到3D乐高模型的转换。八叉树架构提供了生成多种分辨率的灵活性，以最好地契合用户的创意构想或设计需求。为展示系统的广泛适用性，我们为物体与人脸的乐高模型生成逐步搭建说明与动画。最后，我们使用真实乐高积木构建物理拼搭来测试这些自动生成的乐高套装。
引用
@article{arxiv.2108.08477,
title = {Image2Lego: Customized LEGO Set Generation from Images},
author = {Kyle Lennon and Katharina Fransen and Alexander O'Brien and Yumeng Cao and Matthew Beveridge and Yamin Arefeen and Nikhil Singh and Iddo Drori},
journal= {arXiv preprint arXiv:2108.08477},
year = {2021}
}
备注
9 pages, 10 figures