损失景观的敏感性分析

梯度可用于敏感性分析。在此，我们利用损失景观的优势来理解哪些自变量会影响因变量。我们通过自动微分利用一阶、二阶和三阶导数来理解损失景观。我们知道 Spearman 秩相关系数可以检测两个变量之间的单调关系。然而，我发现具有特定配置和参数的二阶梯度能够提供可以类似于 Spearman 结果进行可视化的信息。在这种方法中，我们将损失函数与激活函数结合，从而产生非线性模式。每次通过重新训练对损失景观进行探索都会产生新的有价值信息。此外，一阶和三阶导数也是有益的，因为它们表明了自变量影响因变量的程度。