DL101 神经网络输出与损失函数
机器学习
2025-11-10 v1 人工智能
神经与进化计算
摘要
用于训练神经网络的损失函数在统计意义上与神经网络的输出层密切相关。本技术报告分析了神经网络输出层常见的激活函数，如线性、sigmoid、ReLU和softmax，详细说明了它们的数学性质及其适用场景。对于深度学习模型的损失函数选择，存在强烈的统计依据。本报告将常见的损失函数，如均方误差（MSE）、均绝对误差（MAE）以及各种交叉熵损失，与最大似然估计（MLE）的统计原理相联系。选择特定的损失函数等同于为模型输出假设特定的概率分布，这凸显了这些函数与神经网络输出层所基于的广义线性模型（GLMs）之间的联系。还考虑了一些实用场景，如替代输出编码、受约束的输出以及厚尾分布。
引用
@article{arxiv.2511.05131,
title = {DL101 Neural Network Outputs and Loss Functions},
author = {Fernando Berzal},
journal= {arXiv preprint arXiv:2511.05131},
year = {2025}
}