通用分类器真的能用于人类绘图手绘素描吗？

本文首次将大规模基础模型与人类手绘素描理解相结合。我们展示了这带来的价值——即以素描表示学习（例如分类）的范式转变。这种泛化在两个层面上实现：(i) 跨越未知类别的泛化（即开集），以及 (ii) 跨越抽象水平的泛化（即优秀和糟糕的素描），这两者都是素描文献中未解之谜。我们的设计直观且以将 CLIP 模型条件化为中心，通过学习使用新颖的辅助头将矢量素描转换为空白素描来实现。这一点至关重要，使 CLIP 变得“素描意识”。随后，我们使 CLIP 能够敏锐地捕捉素描抽象水平的差异。这通过学习抽象特定提示偏置的码本实现，加权组合后可促进跨抽象水平的素描表示——低抽象边缘图、中等抽象的 TU-Berlin 素描以及高度抽象的 QuickDraw 简笔画。我们的框架在零样本和少数样本设置下均超越了流行的素描表示学习算法，并在不同的抽象边界中实现了新的突破。