服务于机器学习足迹的随机矩阵：无性能损失的三元随机特征

本文中，我们研究类型为 ${\bf K} = \mathbb{E}_{{\bf w}} \left[\sigma\left({\bf w}^{\sf T}{\bf x}_i\right)\sigma\left({\bf w}^{\sf T}{\bf x}_j\right)\right]_{i,j=1}^n$ 的随机特征核矩阵的光谱行为，其中非线性函数 $\sigma(\cdot)$，数据 ${\bf x}_1, \ldots, {\bf x}_n \in \mathbb{R}^p$，随机投影向量 ${\bf w} \in \mathbb{R}^p$ 具有独立同分布分量。在数据服从高斯混合模型、数据数 $n$ 与维数 $p$ 均大且可比的高维设定下，我们证明 ${\bf K}$ 的特征谱与 ${\bf w}$ 的独立同分布（零均值、单位方差）分量的分布无关，且仅通过 $\sigma(\cdot)$ 的（广义）高斯矩 $\mathbb{E}_{z\sim \mathcal N(0,1)}[\sigma'(z)]$ 与 $\mathbb{E}_{z\sim \mathcal N(0,1)}[\sigma''(z)]$ 依赖于 $\sigma(\cdot)$。因此，对任意上述形式的核矩阵 ${\bf K}$，我们提出一种称为三元随机特征（TRF）的新随机特征技术，其（i）在光谱意义上渐近给出与原 ${\bf K}$ 相同的极限核，且（ii）通过以数据依赖方式明智地调节取 $\{-1,0,1\}$ 中值的函数 $\sigma$ 与随机向量 ${\bf w}$，可更高效计算和存储。所提随机特征的计算无需乘法，且相比随机傅里叶特征等经典随机特征，存储所需比特数减少 $b$ 倍，$b$ 为存储全精度值所需比特数。此外，在真实数据实验中，计算与存储的显著收益伴随着相较最先进随机特征压缩/量化方法略有提升的性能。