基于选择性推断的自动特征工程统计检验
机器学习
2024-10-29 v1 机器学习
摘要
自动特征工程（Auto Feature Engineering, AFE）在通过自动化将原始数据转化为增强模型性能的有意义特征方面发挥着关键作用。通过数据驱动方式生成特征，AFE能够发现人类经验或直觉难以察觉的重要特征。另一方面，由于AFE基于数据生成特征，这些特征可能过度适应数据，因此必须对其可靠性进行适当的评估。不幸的是，由于大多数AFE问题被形式化为组合搜索问题并通过启发式算法求解，尚不可能对生成特征的可靠性进行理论量化。为此，本文提出了一种基于选择性推断（selective inference）框架的新型统计检验，用于检验由AFE算法生成的特征。作为概念验证，我们考虑一种简单的基于树搜索的启发式AFE算法，并考虑在线性模型中对生成特征进行测试。该提出的检验方法可以p值形式量化生成特征的统计显著性，从而实现对错误发现风险的理论保证控制。
引用
@article{arxiv.2410.19768,
title = {Statistical Test for Auto Feature Engineering by Selective Inference},
author = {Tatsuya Matsukawa and Tomohiro Shiraishi and Shuichi Nishino and Teruyuki Katsuoka and Ichiro Takeuchi},
journal= {arXiv preprint arXiv:2410.19768},
year = {2024}
}
备注
36 pages, 7 figures