匹配原理:关于 nuisance-robust 表示学习损失函数的几何理论
摘要
鲁棒性、域适应、光度/遮挡不变性、传感器漂移和对齐风格被视为独立的文献及其独立的方法族。在标签保持的部署迁移下,它们共享一个几何对象:输入在不改变标签情况下变化方式的协方差 。CORAL、对抗训练、数据增强、度量学习、雅可比惩罚和对齐约束并非独立的技巧——它们是 的估计器。固定该对象,雅可比惩罚将由矩阵 决定,其范围必须覆盖 的范围——匹配原理。我们在线性高斯模型中证明最优性(定理 A),证明任何消除部署漂移的二次惩罚都需要范围覆盖(定理 G),以及在全局极小点中的相同二分法(定理 A*_global)。错误方向/信号对齐控制(引理 C;推论 E/E*)以及七个估计器(引理 D1--D7),加上无标签 TDI,给出一种可验证的配方,当 必须学习时。十三个模块(ML 至 Qwen2.5-7B)测试匹配 vs 各向同性 vs 错误方向惩罚在几何和部署漂移上的效果。十二个匹配理论中 identifiability 成立的情形;Office-31 是一个特定特征值间隙的失败。部分通过:几何可以在并非所有主流任务指标都移动时获得改进。一次 7B DPO 试点运行(一个 epoch,240 对):匹配风格-PMH 保留 Style TDI,而标准 DPO 会使其恶化。我们不主张标准训练到达全局极小值(假设 (O) 仍是开放问题),估计的 总是可识别的,或在每个排行榜上都占据优势。我们提出一个可验证的设计配方:估计 ,匹配 ,运行控制,分别报告任务和几何。
引用
@article{arxiv.2605.22800,
title = {The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning},
author = {Vishal Rajput},
journal= {arXiv preprint arXiv:2605.22800},
year = {2026}
}
备注
58 pages, 13 pre-specified empirical blocks. v2: partial-pass framing, geometry-task dissociation, T2B protocol v3, layout/figure fixes; core theorems unchanged. Code: matching-pmh (PyPI). Related note: arXiv:2604.21395