归一化交叉密度泛函：量化随机过程统计依赖的框架

本文提出一种利用称为归一化交叉密度（NCD）的正定函数度量两个随机过程（r.p.）间统计依赖的新方法。NCD 直接由两个 r.p. 的概率密度函数导出，并构造一个数据依赖的 Hilbert 空间，即归一化交叉密度 Hilbert 空间（NCD-HS）。由 Mercer 定理，NCD 范数可分解为其特征谱，我们称之为多元统计依赖（MSD）度量，以及它们的和——总依赖度量（TSD）。因此，NCD-HS 特征函数作为一种新颖的嵌入特征空间，适用于量化 r.p. 统计依赖。为将 NCD 直接应用于 r.p. 实现，我们引入一种由两个多输出神经网络、一个代价函数及名为泛函最大相关算法（FMCA）的算法组成的架构。借助 FMCA，两个网络通过近似彼此输出而并发学习，将交替条件期望（ACE）推广至多元函数。我们从数学上证明 FMCA 直接从实现中学习 NCD 的主导特征值与特征函数。基于合成数据与中等规模图像数据集的初步结果证实了该理论。提出并讨论了应用 NCD 的不同策略，展示了该方法超越监督学习的通用性与稳定性。具体而言，当两个 r.p. 为高维真实图像与白均匀噪声过程时，FMCA 学习到因子编码，即某一编码的出现保证特定训练集图像曾存在，这对特征学习十分重要。