面向生成友好的图像标记的结构状态空间正则化

图像标记器是现代生成模型中的核心组件，其中潜在空间的结构对下游生成性能至关重要。有效潜在表示的一个关键但未被充分探索的属性是谱组织，即能够对频率成分进行信息编码的能力。在本工作中，我们引入结构状态空间正则化，这是一种原则化的方法，用于在潜在空间中诱导谱结构。我们通过重新审视状态空间模型（SSMs）作为模拟基函数行为的系统，推导了一个正则化目标。这种视角揭示了SSMs的隐藏状态被诱导来捕获频率成分， resulting in a novel regularizer that enforces the latent space to capture the spectral structure of images。实验表明，我们的正则化器提高了图像标记器的生成性能，同时仅在重建保真度方面造成最小损失。