草图的几何理解

草图被新手与专家同样广泛用作表达工具。在本论文中，我探索了两种帮助系统提供草图几何机器理解、并反过来帮助用户完成下游任务的方法。第一项工作将二维线条图解释为图结构，并通过机器人对其物理重建来说明其有效性。我们建立了一个两步流水线来解决该问题。首先，我们以亚像素级精度估计图的顶点。我们使用在监督设置下学习的深度卷积神经网络进行像素级估计，随后通过连通分量分析进行聚类来实现这一点。之后我们采用基于反馈环的边估计方法。为补充图解释，我们进一步执行数据交换为机器人可读的 ASCII 格式，从而教会机器人复现线条图。在第二项工作中，我们在无显式三维几何信息访问的情况下测试基于草图的系统的三维几何理解。目标是完成带有光照与纹理信息的三维物体类轮廓草图。我们提出一种数据驱动方法，学习建模为深度卷积神经网络的条件分布，并在对抗设置下训练；并通过人在回路对其进行验证。该方法本身还得到使用构造实体几何遵循标准图形流水线生成的合成数据的支持。为验证我们方法的有效性，我们设计了一个接入流行基于草图工作流的用户界面，并为艺术家设置了一个简单的基于任务的练习。此后，我们还发现形态探索是我们应用的额外效用。