面向表格学习的自增强注意力机制
机器学习
2023-05-22 v1
摘要
除了机器学习模型的高精度外，许多现实问题（例如欺诈检测、信用评分）中令研究者感兴趣的是发现数据中隐藏的模式，尤其是在处理其具有挑战性的不平衡特性时。可解释性也是所用机器学习模型必须伴随的关键要求。在这方面，通常倾向于选择内在可解释的模型而非复杂的黑盒模型。此外，在一些高风险领域，即使必须牺牲性能，也会使用线性模型来处理表格数据。本文提出自增强注意力（Self-Reinforcement Attention, SRA），一种新颖的注意力机制，它提供特征的相关性作为权重向量，用于学习可理解的表示。该权重随后通过逐元素向量乘法来增强或削弱原始输入的某些分量。我们在合成和不平衡真实世界数据上的结果表明，所提出的 SRA 模块与基线模型端到端结合时效果显著。
引用
@article{arxiv.2305.11684,
title = {Self-Reinforcement Attention Mechanism For Tabular Learning},
author = {Kodjo Mawuena Amekoe and Mohamed Djallel Dilmi and Hanene Azzag and Mustapha Lebbah and Zaineb Chelly Dagdia and Gregoire Jaffre},
journal= {arXiv preprint arXiv:2305.11684},
year = {2023}
}