稀疏引导的跨维度与跨编码注意力机制及目标感知条件：面向表格数据的 SG-XDEAT 框架
机器学习
2025-10-15 v1 人工智能
摘要
我们提出了 SG-XDEAT（Sparsity-Guided Cross Dimensional and Cross-Encoding Attention with Target Aware Conditioning），一个用于表格数据监督学习的新型框架。核心设计中，SG-XDEAT 采用双流编码器，将每个输入特征分解为两个平行表示：原始值流和目标条件（标签感知）流。这两个双重表示随后通过一层层注意力模块进行传播。SG-XDEAT 集成了三个关键组件：(i) 跨维度自注意力，捕获每个流中特征之间的内部视图依赖；(ii) 跨编码自注意力，实现原始表示与目标感知表示之间的双向交互；(iii) 自适应稀疏自注意力（ASSA）机制，通过将注意力权重驱动向零来动态抑制低效能 token，从而减轻噪声影响。在多个公开基准测试上的实验结果表明，联合建模原始视图与目标感知视图，同时自适应滤除噪声，能够显著提升表格深度学习模型的鲁棒性。
引用
@article{arxiv.2510.12659,
title = {SG-XDEAT: Sparsity-Guided Cross-Dimensional and Cross-Encoding Attention with Target-Aware Conditioning in Tabular Learning},
author = {Chih-Chuan Cheng and Yi-Ju Tseng},
journal= {arXiv preprint arXiv:2510.12659},
year = {2025}
}