中文

匹配原理:关于 nuisance-robust 表示学习损失函数的几何理论

机器学习 2026-05-26 v2 人工智能 机器学习

摘要

鲁棒性、域适应、光度/遮挡不变性、传感器漂移和对齐风格被视为独立的文献及其独立的方法族。在标签保持的部署迁移下,它们共享一个几何对象:输入在不改变标签情况下变化方式的协方差 Σtask=CovQn(n)\Sigma_{task} = Cov_{Q_n}(n)。CORAL、对抗训练、数据增强、度量学习、雅可比惩罚和对齐约束并非独立的技巧——它们是 Σtask\Sigma_{task} 的估计器。固定该对象,雅可比惩罚将由矩阵 Σ\Sigma' 决定,其范围必须覆盖 Σtask\Sigma_{task} 的范围——匹配原理。我们在线性高斯模型中证明最优性(定理 A),证明任何消除部署漂移的二次惩罚都需要范围覆盖(定理 G),以及在全局极小点中的相同二分法(定理 A*_global)。错误方向/信号对齐控制(引理 C;推论 E/E*)以及七个估计器(引理 D1--D7),加上无标签 TDI,给出一种可验证的配方,当 Σtask\Sigma_{task} 必须学习时。十三个模块(ML 至 Qwen2.5-7B)测试匹配 vs 各向同性 vs 错误方向惩罚在几何和部署漂移上的效果。十二个匹配理论中 identifiability 成立的情形;Office-31 是一个特定特征值间隙的失败。部分通过:几何可以在并非所有主流任务指标都移动时获得改进。一次 7B DPO 试点运行(一个 epoch,240 对):匹配风格-PMH 保留 Style TDI,而标准 DPO 会使其恶化。我们不主张标准训练到达全局极小值(假设 (O) 仍是开放问题),估计的 Σtask\Sigma_{task} 总是可识别的,或在每个排行榜上都占据优势。我们提出一个可验证的设计配方:估计 Σtask\Sigma_{task},匹配 Σ\Sigma',运行控制,分别报告任务和几何。

关键词

引用

@article{arxiv.2605.22800,
  title  = {The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning},
  author = {Vishal Rajput},
  journal= {arXiv preprint arXiv:2605.22800},
  year   = {2026}
}

备注

58 pages, 13 pre-specified empirical blocks. v2: partial-pass framing, geometry-task dissociation, T2B protocol v3, layout/figure fixes; core theorems unchanged. Code: matching-pmh (PyPI). Related note: arXiv:2604.21395