混合随机特征
机器学习
2022-02-01 v3 机器学习
摘要
我们提出了一类用于线性化 softmax 和高斯核的新随机特征方法，称为混合随机特征（HRF），其自动使核估计质量适应所定义感兴趣区域以提供最准确近似。HRF 的特殊实例化导出了著名的方法，如三角随机特征（Rahimi and Recht, 2007）或（近期在线性注意力 Transformer 背景下引入的）正随机特征（Choromanski et al., 2021）。通过推广 softmax/高斯核的博赫纳定理并利用用于组合核的随机特征，HRF 机制提供了强有力的理论保证——无偏近似且最坏情况相对误差严格小于其对应方法。我们对 HRF 进行了详尽的经验评估，从逐点核估计实验，到对具有聚类结构数据的测试，再到对隐式注意力 Transformer 的基准测试（也包括下游机器人应用），展示了其在广泛机器学习问题中的质量。
引用
@article{arxiv.2110.04367,
title = {Hybrid Random Features},
author = {Krzysztof Choromanski and Haoxian Chen and Han Lin and Yuanzhe Ma and Arijit Sehanobish and Deepali Jain and Michael S Ryoo and Jake Varley and Andy Zeng and Valerii Likhosherstov and Dmitry Kalashnikov and Vikas Sindhwani and Adrian Weller},
journal= {arXiv preprint arXiv:2110.04367},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022