扩展 TabPFN：面向表格先验数据拟合网络的草图摘要与特征选择
机器学习
2023-11-20 v1 数据库
摘要
表格分类传统上依赖于监督算法，这些算法利用其训练数据来估计预测模型的参数。近来，诸如 TabPFN 之类的先验数据拟合网络（PFNs）已成功学会在上下文（in-context）中对表格数据进行分类：模型参数被设计为在模型训练后，基于给定的带标签训练样本对新样本进行分类。尽管此类模型展现出巨大潜力，但由于所需的计算规模，其在真实数据上的适用性仍受限。本文研究以下问题：给定一个预训练的表格数据 PFN，在将带标签训练样本输入模型之前，对其最佳摘要方式是什么？我们对 TabPFN 的草图（sketching）与特征选择方法进行了初步探究，并指出其与常规拟合的表格模型之间的若干关键差异。
引用
@article{arxiv.2311.10609,
title = {Scaling TabPFN: Sketching and Feature Selection for Tabular Prior-Data Fitted Networks},
author = {Benjamin Feuer and Chinmay Hegde and Niv Cohen},
journal= {arXiv preprint arXiv:2311.10609},
year = {2023}
}
备注
2nd Table Representation Learning Workshop: 37th Conference on Neural Information Processing Systems (NeurIPS 2023)