MET：面向表格数据的掩码编码
机器学习
2022-06-20 v1 机器学习
摘要
我们考虑表格数据的自监督表示学习（SSL）任务：表格-SSL。典型的基于对比学习的 SSL 方法需要实例级的数据增强，而这对于非结构化的表格数据难以设计。现有的表格-SSL 方法以相对临时的方式设计此类增强，可能未能捕捉底层数据流形。我们提出一种无需增强的、基于重构的新方法——面向表格数据的掩码编码（MET），以替代基于增强的表格-SSL 方法。MET 基于流行的视觉-SSL 方法 MAE [He et al., 2021]，并使用了两个关键思路：(i) 由于表格数据集中每个坐标具有不同含义，我们需要为所有坐标使用独立的表示；(ii) 在标准重构损失之外使用对抗式重构损失。在五个多样化表格数据集上的实证结果表明，MET 在所有这些数据集上达到了新的当前最优（SOTA），并相较当前 SOTA 方法最高提升 9%。我们通过精心设计的简单数据集上的实验进一步阐明了 MET 的工作机制。
引用
@article{arxiv.2206.08564,
title = {MET: Masked Encoding for Tabular Data},
author = {Kushal Majmundar and Sachin Goyal and Praneeth Netrapalli and Prateek Jain},
journal= {arXiv preprint arXiv:2206.08564},
year = {2022}
}
备注
Under Review, 18 pages, 6 Tables, 4 Figures