论数据驱动的 Saak 变换

受多层 RECOS（球面上的修正相关性）变换的启发，我们在本文中开发了一种数据驱动的 Saak（带增广核的子空间近似）变换。Saak 变换包含三个步骤：1) 利用输入向量的二阶统计量构建具有正交基的最优线性子空间近似；2) 用每个变换核的负值对其进行增广；3) 对变换输出应用修正线性单元 (ReLU)。第一步使用 Karhunen-Loève 变换 (KLT)。步骤 2 和 3 的结合非常有效，因为它们解决了符号混淆问题，消除了修正损失，同时允许 Saak 逆变换的直接实现。多个 Saak 变换被级联以变换更大尺寸的图像。所有 Saak 变换核均以单次前馈方式从输入随机向量的二阶统计量中导出。在核的确定过程中既未使用数据标签也未使用反向传播。多级 Saak 变换在两个极端（即全空间域表示和全谱域表示）之间提供了一系列联合空间-谱表示。我们选择具有较高判别能力的 Saak 系数来构成用于模式识别的特征向量，并使用 MNIST 数据集分类问题作为说明性示例。