超越均值：基于分布感知的双模态回归损失函数

尽管机器学习模型在许多应用领域实现了卓越的预测性能，但通过可靠估计预测置信度来评估其可信度仍是一个关键挑战。这一问题在预测误差的似然分布呈双峰分布时尤为突出，这种分布源于自信预测与模糊预测的共存。标准回归方法往往难以充分表达这种预测不确定性，因为它们隐式假设单峰高斯噪声，导致在此类情境下出现均值坍缩。虽然混合密度网络（MDN）能够表示不同分布，但 suffer from severe optimization instability（严重的优化不稳定性）。我们提出了一系列分布感知损失函数，将标准化均方根误差（RMSE）与Wasserstein距离和Cramér距离相结合。当应用于标准深度回归模型时，我们的方法在不引入混合模型波动性的情况下，成功恢复了双峰分布。经过四个实验阶段的验证，我们的结果表明，所提出的Wasserstein损失建立了新的Pareto效率前沿：在单峰任务中匹配像MSE这样的标准回归损失的稳定性，同时在复杂双峰数据集上的Jensen-Shannon散度降低了45%。我们的框架在忠实度和鲁棒性方面均严格优于MDN，为可信赖的AI系统中的 aleatoric 不确定性估计提供了可靠工具。