生成式随机潜特征模型与自然图像统计
无序系统与神经网络
2026-05-01 v2
摘要
复杂的多变量系统常通过将其组成单元分组为若干成分(有时称为潜特征)来分析,这些成分可提供物理或生物学解释。然而,先验地可定义许多不同类型的潜特征与数据分解,人们通常用试错法来确定对系统及其数据自然的分解。非常期望能建立关于给定数据集应采用何种分解的原理性理解。本工作中,我们朝此方向迈出一步,并论证数据中的样本-样本相关性携带了对此重要的信息。为此,我们基于潜特征的线性混合构建了一个大型数据的生成式随机潜特征矩阵模型。我们模型的关键之处在于允许混合系数间存在统计依赖,并论证该模型捕捉了多种自然数据中存在的特征性质。数据的潜维数与相关模式仅由两个模型参数控制。该模型的数据模式包括(重叠)簇、稀疏混合与约束(非负)混合。我们描述了每种模式的特性相关与特征值分布。最后,我们将模型拟合于自然图像的相关性数据,发现与我们的稀疏混合机制近乎完美吻合。该发现与自然场景图像中众所周知的稀疏编码结构一致,并为恰当的数据分解即稀疏编码方案提供了信息。我们相信,我们的工作将为生物系统的多样数据提供类似见解。
引用
@article{arxiv.2212.02987,
title = {Generative random latent features models and statistics of natural images},
author = {Philipp Fleig and Ilya Nemenman},
journal= {arXiv preprint arXiv:2212.02987},
year = {2026}
}
备注
15 pages, 8 figures