最小模型中区分捷径过渡与跨族分布外失效
机器学习
2026-05-14 v1
摘要
捷径特征常被引用来解释分布外（OOD）失效，但训练相关性、学习的捷径使用以及测试时的失效不一定一致。我们研究了一个最小的二元模型，其中包含一个不变坐标和一个家族相关的捷径坐标。在确定性情形下，正的平均捷径相关性会拉动逻辑风险最小化（ERM） toward positive shortcut weight，但岭正则化保持分类器以不变坐标为主导，从而防止确定性OOD失效。当不变坐标具有噪声时，ridge-logistic ERM会在训练捷径信号超过不变信号时切换到捷径规则。是否导致失效取决于持留下的家族：较弱的捷径相关性导致正的剩余风险，符号翻转的家族则产生高于随机的错误率。合成实验匹配这些分析情形，表明相同的训练侧过渡可能对不同持留家族产生不同影响。该模型将捷径吸引、捷径规则过渡和跨族OOD失效分离开来。
引用
@article{arxiv.2605.12945,
title = {Separating Shortcut Transition from Cross-Family OOD Failure in a Minimal Model},
author = {Hongmin Li},
journal= {arXiv preprint arXiv:2605.12945},
year = {2026}
}
备注
14 pages, 3 figures