通过特征交互检测与稀疏选择构建稀疏交互加性网络
机器学习
2023-11-08 v2 机器学习
摘要
目前，在统计严谨的方法（如线性回归或加性样条）与使用神经网络的有力深度方法之间存在着巨大的性能差距。先前试图缩小这一差距的工作未能充分研究深度网络在训练期间自动考虑的指数级增长的特征组合数量。在这项工作中，我们开发了一种可处理的筛选算法，通过利用特征交互检测中的技术来高效识别必要的特征组合。我们提出的稀疏交互加性网络（SIAN）在这些简单且可解释的模型与全连接神经网络之间架起了桥梁。SIAN 在多个大规模表格数据集上取得了与最先进方法相竞争的性能，并持续找到神经网络建模能力与更简单方法泛化性之间的最优权衡。
引用
@article{arxiv.2209.09326,
title = {Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection},
author = {James Enouen and Yan Liu},
journal= {arXiv preprint arXiv:2209.09326},
year = {2023}
}