Adma：一种灵活的神经网络损失函数

对人工神经网络（ANN）日益浓厚的兴趣促使其结构得到了令人瞩目的广泛改进。在这项工作中，我们提出一个想法：当前可用的损失函数不应是静态插件，而应默认具有灵活的特性。灵活的损失函数可以成为神经网络更具洞察力的导航器，从而带来更高的收敛速度，进而更快达到最优精度。用于帮助确定灵活程度的洞察可以来源于ANN的复杂性、数据分布、超参数的选择等。鉴于此，我们为神经网络引入了一种新颖的灵活损失函数。该函数被证明具有一系列根本独特的性质，其他损失函数的许多性质仅是这些性质的一个子集，并且通过改变函数中的灵活性参数，可以使其模拟常见静态损失函数的损失曲线和学习行为。使用该损失函数进行的大量实验表明，它能够在选定的数据集上提供最先进的性能。因此，灵活性这一思想本身以及基于此思想所提出的函数，都有可能为深度学习研究开启一个有趣的新篇章。