中文

一个针对基于强代理的 OOD 性能解释的受控反例:在固定预训练与探测设置下

机器学习 2026-05-13 v1

摘要

任务无关的结构代理常被用来解释为何一个预训练语料库比另一个迁移得更好,但此类解释要求该代理能够追踪对下游任务至关重要的结构。我们在一个由计算有界的学习结构概念(包括 epiplexity)驱动的固定预训练与探测设置中检验了这一要求。核心问题是:两个预训练数据集的代理排名是否必须与其 OOD 探测准确率排名一致。我们证明并非必须如此。首先,我们给出一个受控构造,其中形式结构量、其操作代理以及目标家族的任务相关结构三者分离。然后,我们在一个合成序列模型实验中实例化了同一机制:在主要的全样本评估下,三个种子中有两个的 OOD 准确率排名与代理排名相反,辅助诊断和消融实验支持相同的解释。该反例并非全盘否定基于结构的解释;它指出了强代理解释的一个边界。一个用于衡量总学习结构的代理可能无法追踪驱动 OOD 性能的任务相关结构,即使在受控设置下也是如此。

关键词

引用

@article{arxiv.2605.11554,
  title  = {A Controlled Counterexample to Strong Proxy-Based Explanations of OOD Performance: in a Fixed Pretraining-and-Probing Setup},
  author = {Hongmin Li},
  journal= {arXiv preprint arXiv:2605.11554},
  year   = {2026}
}

备注

19 pages, 3 figures