表格型 in-上下文学习的早停策略
机器学习
2025-07-01 v2
摘要
表格基础模型通过 in-上下文学习在各种表格学习任务上表现出强大的性能，能够在无需任何后续微调的情况下实现稳健的泛化。然而，其推理时间成本仍然较高，尤其是对于较大数据集而言。为此，我们提出对 in-上下文学习过程进行早停。我们通过动态评估是否在每个 Transformer 编码器层后停止 in-上下文学习来实现此目标。一旦停止，我们便使用预训练的层级解码器对嵌入进行解码。实验在 34 个小型分类任务上表明，早停 in-上下文学习可实现最高可达 x1.3 的加速，而性能下降可以忽略不计。为评估其可扩展性，我们进一步在五个较大规模的分类任务上进行评估，实现了最高可达 x2.2 的加速。我们的结果表明，早退出作为一种提高表格 in-上下文学习效率的有效且实用的策略具有巨大的潜力。
关键词
引用
@article{arxiv.2506.21387,
title = {Early Stopping Tabular In-Context Learning},
author = {Jaris Küken and Lennart Purucker and Frank Hutter},
journal= {arXiv preprint arXiv:2506.21387},
year = {2025}
}
备注
ICML Workshop Paper