超越KAN：引入KarSein用于CTR预测中的自适应高阶特征交互建模
机器学习
2025-12-05 v6 人工智能
信息检索
摘要
建模高阶特征交互对于点击率（CTR）预测至关重要，然而传统方法通常预定义最大交互阶数并穷举枚举该阶数内的特征组合。这一范式严重依赖先验领域知识来限定交互空间，并带来大量的计算开销。因此，传统CTR模型面临一个持久的矛盾：一方面丰富表示以包含复杂的高阶交互，另一方面保持计算的可处理性。为解决这一双重挑战，本研究引入柯尔莫哥洛夫-阿诺德表示稀疏高效交互网络（KarSein）。借鉴柯尔莫哥洛夫-阿诺德网络（KAN）中可学习激活机制的启发，KarSein利用该机制自适应地将低阶基础特征转换为高阶特征交互，为特征交互建模提供了一种新方法。KarSein通过引入更高效的架构扩展了KAN的能力，在显著降低计算成本的同时容纳二维嵌入向量作为特征输入。此外，它克服了KAN无法自发捕获特征间乘法关系的局限。广泛的实验突显了KarSein的优越性，证明了它不仅在CTR预测任务中超越了KAN的原始实现，也超越了其他基线方法。值得注意的是，KarSein在保持极紧凑参数规模和最小计算开销的同时实现了卓越的预测精度。此外，KarSein展现出强大的可解释性和结构稀疏性。作为KAN在CTR预测中的首次系统性适配，KarSein为建模CTR预测中复杂特征交互提供了一种实用、参数高效且可解释的替代方案。
引用
@article{arxiv.2408.08713,
title = {Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction},
author = {Yunxiao Shi and Wujiang Xu and Haimin Zhang and Qiang Wu and Min Xu},
journal= {arXiv preprint arXiv:2408.08713},
year = {2025}
}
备注
Under review by TOIS