理解表格类注意力学习模型中层次贡献
机器学习
2025-11-20 v1 人工智能
摘要
尽管表格类注意力学习（ICL）模型与大型语言模型（LLM）在建构上具有相似性，但关于各层如何贡献于表格预测的认识仍很有限。本文探讨了表格 ICL 模型中各层的潜在空间如何演化，识别潜在的冗余层，并将这些动力学与 LLM 中的观察结果进行比较。我们通过“层次如画家”的视角分析 TabPFN 和 TabICL，发现只有部分子集的层共享常见的表征语言，这表明结构冗余，为模型压缩和改进可解释性提供了机会。
引用
@article{arxiv.2511.15432,
title = {Towards Understanding Layer Contributions in Tabular In-Context Learning Models},
author = {Amir Rezaei Balef and Mykhailo Koshil and Katharina Eggensperger},
journal= {arXiv preprint arXiv:2511.15432},
year = {2025}
}
备注
Accepted at the EurIPS 2025 Workshop on AI for Tabular Data