打破相关性平台期：注意力基回归模型的优化与容量限制

注意力基回归模型通常通过联合优化均方误差（MSE）损失和皮尔逊相关系数（PCC）损失来进行训练，前者强调误差的大小，后者强调目标的排序或形状。训练过程中常见但尚未充分理解的现象是 PCC 平台期：即使 MSE 持续降低，PCC 也会在训练初期停止改进。我们提供了对这一行为的首个严格理论分析，揭示了优化动力学和模型容量的根本限制。首先，关于 PCC 曲线的减缓，我们发现降低 MSE（幅度匹配）会从而抑制 PCC 梯度（形状匹配），这在数据高度均匀时尤其受 softmax 注意力机制的加剧。其次，我们识别出模型容量的限制：我们推导了任何凸聚合器（包括 softmax 注意力）的 PCC 提升上限，表明输入的凸包严格界定了可实现的 PCC 增益。我们演示数据均匀性加剧了这两个限制。针对这些见解，我们提出 Extrapolative Correlation Attention (ECA)，该模型包含新颖且受理论驱动的机制，以提高 PCC 优化并超越凸包。 在多样化基准测试中，包括具有挑战性的均匀数据设置下，ECA 始终打破 PCC 平台期，在不损害 MSE 性能的前提下实现显著的相关性提升。