非序列表格数据的自监督学习综述
机器学习
2024-09-11 v4 人工智能
摘要
自监督学习(SSL)已被纳入各个领域许多最先进的模型中，其中SSL基于未标记数据集定义前置任务，以学习情境化和鲁棒的表示。最近，SSL已成为探索表格数据领域表示学习能力的新趋势，由于缺乏用于学习描述性表示的显式关系，这更具挑战性。本综述旨在系统性地回顾和总结非序列表格数据的自监督学习(SSL4NS-TD)的最新进展和挑战。我们首先给出NS-TD的形式化定义，并阐明其与相关研究的关联。然后，将这些方法分为三类——预测学习、对比学习和混合学习，并介绍每个方向代表性方法的动机和优势。此外，还介绍了SSL4NS-TD的应用问题，包括自动数据工程、跨表可迁移性和领域知识集成。另外，我们详细阐述了用于NS-TD应用的现有基准和数据集，以分析现有表格模型的性能。最后，我们讨论了SSL4NS-TD的挑战，并提供了未来研究的潜在方向。我们期望我们的工作有助于鼓励更多研究降低表格领域SSL的入门门槛，并改进隐式表格数据的基础。
引用
@article{arxiv.2402.01204,
title = {A Survey on Self-Supervised Learning for Non-Sequential Tabular Data},
author = {Wei-Yao Wang and Wei-Wei Du and Derek Xu and Wei Wang and Wen-Chih Peng},
journal= {arXiv preprint arXiv:2402.01204},
year = {2024}
}
备注
ACML-24 Journal Track. The paper list can be found at https://github.com/wwweiwei/awesome-self-supervised-learning-for-tabular-data