LoMETab：超越表格深度学习的秩1集成

近期的表格学习基准测试越来越多地表明，在涵盖梯度提升决策树、基于注意力的架构以及诸如 TabM 的隐式集成等领先方法之间，呈现出紧密的性能聚集，而非清晰的层级划分。随着基准收益进入平台期，一个互补目标是理解并控制使简单神经表格模型具备竞争力的机制。我们提出了 LoMETab，一种乘法隐式集成的秩-$r$ 推广。LoMETab 通过将每个成员权重参数化为 $W_k = W \odot (1 + A_kB_k^\top)$，将秩1 BatchEnsemble/TabM 调制提升为秩 $r$ 的恒等残差 Hadamard 族，其中 $W$ 为共享权重，$(A_k, B_k)$ 为成员特定的低秩因子。这揭示了两个实用的多样性控制轴：适配器秩 $r$ 和初始化尺度 $\sigma_{\mathrm{init}}$，并且我们证明对于 $r \ge 2$，该推广严格扩大了 BatchEnsemble 的假设类。实验表明，这种增加的容量在训练后表现为可测量的预测多样性：在具有代表性的分类数据集上，LoMETab 维持了比加法低秩消融更高的成对 KL 散度，且 $(r, \sigma_{\mathrm{init}})$ 对成对 KL 散度提供了广泛控制，在不同配置下变化可达数个数量级。诱导的多样性反映在任务合适的输出级度量上：分类的 argmax 分歧和回归的模糊性，表明该控制超越了成对 KL 散度，延伸至决策级和输出级的成员变化。最后，在适配器秩 $r$ 和初始化尺度 $\sigma_{\mathrm{init}}$ 上进行的扫描实验表明，预测性能在 $(r, \sigma_{\mathrm{init}})$ 网格上具有数据集依赖性，这支持了 LoMETab 作为可控隐式集成族而非固定秩1构造的观点。