用于表格表示学习的基于多项式的自注意力机制
人工智能
2023-12-19 v2
摘要
结构化数据构成了现有数据类型的重要部分，长期以来一直是机器学习领域的研究课题。针对表格数据，人们提出了多种表示学习方法，从编码器-解码器结构到 Transformer。其中，基于 Transformer 的方法不仅在表格数据上，而且在包括计算机视觉和自然语言处理在内的其他各个领域都取得了最先进的性能。然而，最近的研究表明，自注意力机制（Transformer 的关键组成部分）可能导致过度平滑问题。我们证明了用于表格数据的 Transformer 也面临这一问题，为了解决该问题，我们提出了一种新颖的基于矩阵多项式的自注意力层，作为原始自注意力层的替代品，从而增强了模型的可扩展性。在我们使用三个配备了所提层的代表性表格学习模型进行的实验中，我们证明了该层有效地缓解了过度平滑问题，并增强了现有方法的表示性能，优于最先进的表格表示方法。
引用
@article{arxiv.2312.07753,
title = {Polynomial-based Self-Attention for Table Representation learning},
author = {Jayoung Kim and Yehjin Shin and Jeongwhan Choi and Hyowon Wi and Noseong Park},
journal= {arXiv preprint arXiv:2312.07753},
year = {2023}
}