单纯形随机特征
机器学习
2023-10-10 v2 机器学习
摘要
我们提出单纯形随机特征（SimRFs），一种通过随机投影向量的几何相关性无偏近似 softmax 与高斯核的新随机特征（RF）机制。我们证明，在权重无关几何耦合正随机特征（PRF）机制类中，SimRFs 对这些核的无偏估计给出了可能最小均方误差（MSE），在以无可见额外代价大幅优于先前最精确的正交随机特征的同时。我们提出计算代价更高的 SimRFs+ 变体，并证明其在更广泛的权重依赖几何耦合方案族（允许随机向量方向与模长间相关）中渐近最优。在广泛实证研究中，我们展示了 SimRFs 在点核估计、非参数分类与可扩展 Transformers 等场景中提供的一致增益。
引用
@article{arxiv.2301.13856,
title = {Simplex Random Features},
author = {Isaac Reid and Krzysztof Choromanski and Valerii Likhosherstov and Adrian Weller},
journal= {arXiv preprint arXiv:2301.13856},
year = {2023}
}