多分支注意力机制在表格数据中的准确性提升

表格数据本质上具有显著的特征异构性，但现有基于变换器的方法缺乏针对这一属性的专门机制。为弥合这一差距，我们提出了 MAYA（Multi-Branch of Attention Yields Accurate Results for Tabular Data），一种基于编码器-解码器的变换器框架。在编码器中，我们设计了多分支注意力（Multi-Branch of Attention, MBA），通过构建多个平行注意力分支并在每个分支处对特征进行平均，有效地融合异构特征，同时限制参数增长。此外，我们采用协作学习并引入动态一致性权重约束，以产生更稳健的表征。在解码器阶段，利用跨注意力机制无缝集成表格数据与相应标签特征。这种双注意力机制有效捕获了实例内及实例间的相互作用。我们在广泛的数据集上对所提方法进行评估，并与其他多种最新基于变换器的方法进行比较。大量实验表明，在表格分类和回归任务中，我们的方法在基于变换器的方法中实现了优异的性能。