SketchGPT: 用于草图生成与识别的自回归建模

我们提出SketchGPT，一个灵活的框架，采用序列到序列的自回归模型用于草图生成和补全，以及一个用于草图识别的解释案例研究。通过将复杂草图映射为简化抽象基元序列，我们的方法显著简化了自回归建模的输入。SketchGPT利用下一个标记预测目标策略来理解草图模式，促进绘图的创建和补全，并准确分类。这种提出的草图表示策略有助于克服自回归建模在连续笔画数据上的现有挑战，实现更平滑的模型训练和有竞争力的性能。我们的发现展示了SketchGPT生成多样化绘图的能力，通过与现有最先进方法的定性和定量比较以及全面的人类评估研究。代码和预训练模型将在我们的官方GitHub上发布。