交叉样条网络与统一世界

在当今处理表格数据的机器学习世界中，XGBoost和全连接神经网络因其良好的模型性能和易用性而成为两种最流行的方法。然而，它们高度复杂、难以解释，并且可能过拟合。在本文中，我们提出了一种新的建模框架，称为交叉样条网络（CSN），它基于样条变换和交叉网络（Wang et al. 2017, 2021）的组合。我们将展示CSN具有同等性能和易用性，并且更简单、更具可解释性和鲁棒性。此外，CSN框架是灵活的，因为样条层可以不同配置以产生不同的模型。通过选择不同的样条层，我们可以重现或近似一组非神经网络模型，包括线性和基于样条的统计模型、树、规则拟合、树集成（梯度提升树、随机森林）、斜树/森林、多元自适应回归样条、多项式核SVM等。因此，CSN提供了一个统一的建模框架，将上述非神经网络模型置于同一个神经网络框架之下。通过利用神经网络库中可扩展且强大的梯度下降算法，CSN避免了上述非神经网络模型中使用的特定案例优化方法的一些陷阱（例如，临时性、贪婪性或不可扩展性）。我们将使用一种特殊类型的CSN——TreeNet——来说明我们的观点。我们将TreeNet与XGBoost和FCNN进行比较，以展示TreeNet的优势。我们相信CSN将为实践者提供一个灵活且方便的框架，用于构建高性能、鲁棒且更具可解释性的模型。