图像流形的概率与语义描述及其应用

本文首先描述估计图像概率密度函数的方法,其基于如下观察:此类数据通常受限于高维图像空间中的特定区域——并非每个像素模式都是图像。常说图像位于高维空间中的低维流形上。然而,并非流形上所有点都具有相等的成为图像的概率。图像在流形上分布不均,我们的任务是设计方法将此分布建模为概率分布。因此我们考察流行的生成模型。就我们的目的而言,生成/概率模型应具备以下性质:1)样本生成:可利用建模的密度函数从该分布中采样;2)概率计算:给定感兴趣数据集中一个先前未见的样本,应能够计算其概率,至少可计算至一个归一化常数。为此,我们研究normalising flow与扩散模型等方法的使用。随后我们展示如何利用语义解释来描述流形上的点。为此,我们考虑一种涌现语言框架,其使用变分编码器对给定流形上点的解耦表示。流形上点之间的轨迹便可被描述为演化的语义描述。我们还展示此类(有界的)概率描述可通过构建针对对抗攻击的防御来提升语义一致性。我们以改进的语义鲁棒性与OoD检测能力、可解释且可编辑的语义插值、以及在块攻击下提升的分类准确率来评估我们的方法。我们也讨论了扩散模型的局限性。