通过自监督学习编辑视觉程序

我们设计了一个学习如何编辑视觉程序的系统。我们的编辑网络接收一个完整的输入程序和一个视觉目标。从该输入中，我们要求网络预测一个局部编辑操作，该操作可应用于输入程序以改善其与目标的相似性。为了将这一方案应用于缺乏程序标注的领域，我们开发了一种自监督学习方法，将该编辑网络与一个一次性预测整个程序的网络集成到一个自举微调循环中。我们的联合微调方案，结合一个推理过程（从一次性模型初始化种群，并通过编辑网络进化该种群的成员），有助于推断更准确的视觉程序。在多个领域，我们通过实验将我们的方法与仅使用一次性模型的替代方案进行比较，发现在相同的搜索时间预算下，基于编辑的范式提供了显著优势。