有理 ANOVA 网络
机器学习
2026-02-05 v1 人工智能
摘要
深度神经网络通常将非线性视为固定原语(如 ReLU)，限制了可解释性和对诱导函数类别的控制粒度。虽然最近的可加模型(如 KANs)试图通过样条函数解决这一问题，但常受计算效率低下和边界不稳定的制约。我们提出有理-ANOVA 网络(RAN)，一种基于函数 ANOVA 分解和帕达-式有理近似的基础架构。RAN 将 f(x) 模型为主效应和稀疏偶对相互作用的组合，其中每个组件由稳定、可学习的有理单元参数化。关键的是，我们强制分母严格为正，这避免了极点和数值不稳定，同时比多项式基更高效地捕捉锐利过渡和近奇异行为。这种 ANOVA 结构为数据效率和可解释性提供明确的低阶相互作用偏置，而有理参数化显著改进了外推能力。在受控函数基准和视觉分类任务(如 CIFAR-10)下，在匹配参数和计算预算的情况下，RAN 匹配或超越参数匹配的 MLP 和可学习激活基线，表现更好，稳定性和吞吐量也更优。代码已公开于 https://github.com/jushengzhang/Rational-ANOVA-Networks.git。
引用
@article{arxiv.2602.04006,
title = {Rational ANOVA Networks},
author = {Jusheng Zhang and Ningyuan Liu and Qinhan Lyu and Jing Yang and Keze Wang},
journal= {arXiv preprint arXiv:2602.04006},
year = {2026}
}
备注
Code: \url{https://github.com/jushengzhang/Rational-ANOVA-Networks.git}