让 Sigmoid-MSE 再次伟大：输出重置在神经网络分类中挑战 Softmax 交叉熵
机器学习
2024-11-19 v1 人工智能
机器学习
摘要
本研究对神经网络分类任务中的两种目标函数——均方误差（MSE）和 Softmax 交叉熵（SCE）——进行了比较分析。虽然结合 softmax 激活的 SCE 是将网络输出转换为类别概率的传统选择，但我们探索了一种使用 sigmoid 激活的 MSE 的替代方法。我们引入了输出重置算法，该算法可减少不一致误差并增强分类器的鲁棒性。通过在基准数据集（MNIST、CIFAR-10 和 Fashion-MNIST）上的大量实验，我们证明使用 sigmoid 激活的 MSE 在准确率和收敛速度上与 SCE 相当，同时在噪声数据场景中表现出更优越的性能。我们的发现表明，尽管 MSE 传统上与回归任务相关联，但它可作为分类问题的一种可行替代方案，挑战了关于神经网络训练策略的传统观念。
引用
@article{arxiv.2411.11213,
title = {Making Sigmoid-MSE Great Again: Output Reset Challenges Softmax Cross-Entropy in Neural Network Classification},
author = {Kanishka Tyagi and Chinmay Rane and Ketaki Vaidya and Jeshwanth Challgundla and Soumitro Swapan Auddy and Michael Manry},
journal= {arXiv preprint arXiv:2411.11213},
year = {2024}
}