BiSHop：基于广义稀疏现代 Hopfield 模型的双向细胞学习用于表格数据

我们提出了双向稀疏 Hopfield 网络（BiSHop），这是一种用于深度表格学习的新型端到端框架。BiSHop 处理深度表格学习的两个主要挑战：非旋转不变的数据结构以及表格数据中的特征稀疏性。我们的核心动机来自关联记忆与注意力机制之间最近建立的联系。因此，BiSHop 采用双组件方法，依次通过两个相互交织的方向学习模块对数据进行列向和行向处理。计算上，这些模块包含广义稀疏现代 Hopfield 层，这是一种可调节稀疏性的现代 Hopfield 模型的稀疏扩展。方法上，BiSHop 促进了多尺度表征学习，捕捉内特征和特征之间的相互作用，并在每个尺度上实现自适应稀疏性。实验上，通过在多样化的真实数据集上进行实验，我们展示了 BiSHop 在显著减少 HPO 运行次数的同时超越了当前的 SOTA 方法，证明其作为深度表格学习解决方案的稳健性。