Safe RuleFit：基于元安全筛选学习最优稀疏规则模型
机器学习
2025-03-13 v2 机器学习
摘要
我们考虑学习稀疏规则模型的问题，即形如规则的稀疏线性组合的预测模型，其中规则是输入空间中超矩形上定义的指示函数。由于所有可能规则的数量极其庞大，选取最优活跃规则集在计算上一直难以处理。本文中，为解决学习最优稀疏规则模型的这一困难，我们提出 Safe RuleFit（SRF）。我们的基本思想是发展元安全筛选（mSS），这是著名的安全筛选（SS）技术的一种非平凡推广。SS 用于筛除单个特征，而 mSS 可利用输入空间中超矩形的包含关系筛除多个特征。SRF 为回归与分类的稀疏规则模型拟合提供了通用框架，并可扩展至处理如群正则化等更一般的稀疏正则化。我们通过大量数值实验展示了 SRF 的优势。
引用
@article{arxiv.1810.01683,
title = {Safe RuleFit: Learning Optimal Sparse Rule Model by Meta Safe Screening},
author = {Hiroki Kato and Hiroyuki Hanada and Ichiro Takeuchi},
journal= {arXiv preprint arXiv:1810.01683},
year = {2025}
}