基于无放回采样的图像无监督程序合成
机器学习
2021-06-16 v2 机器学习
摘要
程序合成已成为图像解析任务的一种成功方法。大多数先前工作依赖于两步方案：先用合成程序对Seq2Seq模型进行有监督预训练，再用强化学习（RL）结合真实参考图像进行微调。完全无监督方法有望直接在目标图像上训练模型，而无需精心准备的预训练数据集。然而，它们受限于搜索空间中有意义程序的固有稀疏性。在本文中，我们提出了首个无需预训练、通过不可微渲染器即可将构造实体几何（CSG）图像解析为上下文无关文法（CFG）的无监督算法。为应对非马尔可夫的稀疏奖励问题，我们结合了三个关键要素——（i）确保程序有效性的文法编码树LSTM；（ii）熵正则化；（iii）从CFG语法树中无放回采样。在经验上，我们的算法在大型搜索空间（高达）中恢复了有意义的程序。此外，尽管我们的方法完全无监督，它在合成2D CSG数据集上的泛化能力强于有监督方法。在2D计算机辅助设计（CAD）数据集上，我们的方法显著优于有监督预训练模型，并与精炼模型具有竞争力。
引用
@article{arxiv.2001.10119,
title = {Unsupervised Program Synthesis for Images By Sampling Without Replacement},
author = {Chenghui Zhou and Chun-Liang Li and Barnabas Poczos},
journal= {arXiv preprint arXiv:2001.10119},
year = {2021}
}
备注
Accepted to UAI 2021