论表格基础模型的鲁棒性：测试时攻击与上下文防御
机器学习
2026-04-10 v2
摘要
近期的表格基础模型，如 TabPFN 和 TabICL，利用上下文学习实现了强大的性能，而无需梯度更新或微调。然而，它们对对抗性操纵的鲁棒性在很大程度上仍未被探索。在本工作中，我们对表格基础模型的对抗性脆弱性进行了全面研究，重点关注其对针对性测试时攻击的脆弱性以及其被误用为对抗性工具的潜在风险。我们在金融、网络安全和医疗保健领域的三个基准上表明，对测试输入施加微小的、结构化的扰动即可显著降低预测准确性，即使训练上下文保持固定。此外，我们证明了表格基础模型可被重新用于生成针对随机森林和 XGBoost 等传统模型的迁移规避攻击，且对深度表格模型的规避程度较轻。为改进表格基础模型，我们将鲁棒化问题表述为对权重（对抗微调）或上下文（对抗上下文学习）的优化。我们引入了一种上下文对抗训练策略，通过逐步用对抗扰动实例替换上下文，在不更新模型权重的情况下提升鲁棒性。我们的方法在多个表格基准上提升了鲁棒性。这些发现表明，表格基础模型既是对抗威胁的目标，也是对抗威胁的来源，凸显了在这一新兴范式中采用鲁棒训练与评估实践的迫切需求。
引用
@article{arxiv.2506.02978,
title = {On the Robustness of Tabular Foundation Models: Test-Time Attacks and In-Context Defenses},
author = {Mohamed Djilani and Thibault Simonetto and Karim Tit and Florian Tambon and Salah Ghamizi and Maxime Cordy and Mike Papadakis},
journal= {arXiv preprint arXiv:2506.02978},
year = {2026}
}
备注
This work has been accepted for publication at the IEEE Conference on Secure and Trustworthy Machine Learning (SaTML). The final version will be available on IEEE Xplore. To IEEE SaTML 2026