“主成分”为图像提供新语言

我们引入一种新的视觉标记框架，将可证明的 PCA 类似结构嵌入潜在标记空间。虽然现有的视觉标记器主要优化重建保真度，但往往忽视潜在空间的结构属性——这一点对于解释性和下游任务至关重要。我们的方法为图像生成 1 维因果标记序列，其中每个后续标记贡献非重叠的信息，并具有数学保证的递减解释方差，类似于主成分分析。这种结构约束确保标记器首先提取最显著的视觉特征，每个后续标记添加递减且互补的信息。此外，我们识别并解决了高级语义内容与低级光谱细节在标记中不必要耦合的语义-光谱耦合效应，方法是利用扩散解码器。实验表明，我们的方法实现了最先进的重建性能，并实现了更好的解释性以符合人类视觉系统。此外，训练我们标记序列的自回归模型在所需的标记数更少的情况下，实现了与当前最先进方法相当的性能。