SAINT：通过行注意力与对比预训练改进表格数据神经网络
机器学习
2021-06-03 v1 人工智能
机器学习
摘要
表格数据支撑着从欺诈检测到基因组学与医疗健康等众多机器学习高影响应用。解决表格问题的经典方法，如梯度提升与随机森林，被从业者广泛使用。然而，近期的深度学习方法已达到了与流行技术相竞争的性能水平。我们设计了一种解决表格数据问题的混合深度学习方法。我们的方法 SAINT 对行与列均执行注意力，并包含一种增强的嵌入方法。我们还研究了一种新的对比自监督预训练方法，用于标签稀缺的情形。SAINT 在以往深度学习方法上持续取得性能提升，并且在多种基准任务上平均优于包括 XGBoost、CatBoost 和 LightGBM 在内的梯度提升方法。
引用
@article{arxiv.2106.01342,
title = {SAINT: Improved Neural Networks for Tabular Data via Row Attention and Contrastive Pre-Training},
author = {Gowthami Somepalli and Micah Goldblum and Avi Schwarzschild and C. Bayan Bruss and Tom Goldstein},
journal= {arXiv preprint arXiv:2106.01342},
year = {2021}
}