精通草图简化：面向结构化预测的对抗增强

我们提出了一个用于训练草图简化网络的完整框架，该网络将具有挑战性的粗糙草图转换为干净的线稿图。我们的方法用一个判别网络来增强简化网络，联合训练两个网络，使得判别网络能够辨别一幅线稿图是真实的训练数据还是简化网络的输出，而简化网络则试图欺骗它。该方法有两个主要优点。首先，因为判别网络学习了线稿图中的结构，它鼓励简化网络的输出草图在外观上更类似于训练草图。其次，我们还可以使用额外的无监督数据来训练简化网络，将判别网络作为替代教师。因此，通过仅添加没有简化线稿的粗糙草图，或仅添加没有原始粗糙草图的线稿图，我们可以提高草图简化的质量。我们展示了我们的框架如何用于训练模型，尽管推理时使用相同的架构，但在草图简化任务上显著优于最先进水平（state of the art）。我们还提出了一种针对单幅图像进行优化的方法，以额外的计算时间为代价提高了精度。最后，我们展示使用相同框架，可以训练网络执行逆问题，即把简单线稿草图转换为铅笔画，这是使用标准均方误差损失无法做到的。我们通过两次用户测试验证了我们的框架，其中我们的方法在92.3%的情况下优于草图简化的 state of the art，并在1到5的量表上获得高出1.2分。