度量微调的不稳定性

在下游任务上以不同随机种子微调预训练语言模型已被证明是不稳定的，尤其是在小数据集上。许多先前的研究调查了这种不稳定性并提出了缓解方法。然而，大多数研究仅使用性能分数的标准差（SD）作为度量，这是对不稳定性的狭隘刻画。在本文中，我们分析了SD以及其他六种在不同粒度上量化不稳定性的度量。此外，我们提出了一个系统框架来评估这些度量的有效性。最后，我们通过重新评估现有的不稳定性缓解方法，分析了不同度量之间的一致性与差异。我们希望我们的结果能为更好地度量微调不稳定性提供指导。