用于改进神经网络泛化能力的混合损失函数

损失函数在人工神经网络（ANNs）的训练中起着重要作用，并且除其他性质外，会影响 ANN 模型的泛化能力。具体而言，已表明交叉熵和平方和误差损失函数导致不同的训练动态，并展现出互为补充的不同性质。先前已有建议，熵与平方和误差损失函数的混合可结合两函数的优势，同时限制其劣势。本研究考察了此类混合损失函数的有效性。结果表明，两种损失函数的混合在所有考虑的问题上均提升了 ANN 的泛化能力。所显示的混合损失函数——以平方和误差损失函数开始训练而后切换到交叉熵误差损失函数——要么平均表现最佳，要么在与所测试最佳损失函数相比时无显著差异（对所有考虑的问题）。本研究表明，平方和误差损失函数所发现的极小点可通过切换到交叉熵误差损失函数而被进一步利用。因此可得出结论，两种损失函数的混合可带来 ANN 更好的性能。