RFFNet：基于随机傅里叶特征的大规模可解释核方法
机器学习
2024-04-15 v2 机器学习
摘要
核方法为非线性和非参数学习提供了一种灵活且有理论支撑的方法。尽管内存和运行时间的要求阻碍了其在大数据集上的适用性，但近期已开发出许多低秩核近似方法（如随机傅里叶特征）来扩展此类核方法。然而，这些可扩展方法基于各向同性核的近似，无法消除无关特征的影响。在本工作中，我们为一族自动相关性确定（ARD）核设计了随机傅里叶特征，并提出了 RFFNet，一种新的大规模核方法，通过一阶随机优化即时学习核相关性。我们为该方法的非凸目标函数提出了一种有效的初始化方案，评估了对 RFFNet 学习到的相关性进行硬阈值化是否能产生合理的变量选择规则，并对 RFFNet 的组件进行了广泛的消融研究。在模拟数据与真实数据上的数值验证表明，我们的方法内存占用小、运行时间短，实现了低预测误差，并有效识别了相关特征，从而得到更具可解释性的解。我们为用户提供了一个高效的基于 PyTorch 的库，其遵循 scikit-learn 标准 API，并提供了可完全复现我们结果的代码。
引用
@article{arxiv.2211.06410,
title = {RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features},
author = {Mateus P. Otto and Rafael Izbicki},
journal= {arXiv preprint arXiv:2211.06410},
year = {2024}
}
备注
New datasets, ablation studies, and discussion of method's components. 45 pages, 11 figures