厨师的随机表：非三角随机特征
机器学习
2022-06-01 v1 人工智能
摘要
我们引入厨师的随机表（CRTs），一类新的非三角随机特征（RFs），用于近似高斯和 softmax 核。CRTs 是标准随机厨房水槽（RKS）方法的替代方案，后者固有地依赖于三角映射。我们提出了 CRTs 的变体，其中 RFs 为正，这是近期低秩 Transformers 应用的关键要求。通过利用易于计算的统计量，可进一步降低方差。CRTs 的一个实例，即最优正随机特征（OPRFs），据我们所知是首个用于具有正且有界 RFs 的无偏 softmax 核估计的 RF 方法，其产生指数级小的尾部且方差远低于同类方法。如我们所展示的，在 OPRFs 中应用的正交随机特征为任意维度 提供了额外的方差降低（而非仅如 RKS 那样在足够大的 下渐近地）。我们在许多任务上测试了 CRTs，从非参数分类到训练用于文本、语音和图像数据的 Transformers，获得了低秩文本 Transformers 的新 SOTA 结果，同时提供线性的空间和时间复杂度。
引用
@article{arxiv.2205.15317,
title = {Chefs' Random Tables: Non-Trigonometric Random Features},
author = {Valerii Likhosherstov and Krzysztof Choromanski and Avinava Dubey and Frederick Liu and Tamas Sarlos and Adrian Weller},
journal= {arXiv preprint arXiv:2205.15317},
year = {2022}
}