基于主梯度期望的可迁移性估计

迁移学习旨在通过迁移源任务中获得的知识来提升目标任务的性能。标准方法是预训练后接微调或线性探测。特别地，在预定义任务下为特定目标域选取合适的源域，对提升效率与效果至关重要。传统上通过估计可迁移性来解决该问题。然而，现有方法无法在性能与代价之间取得权衡。为全面评估估计方法，我们总结了三种性质：稳定性、可靠性与高效性。在此基础上，我们提出主梯度期望（PGE），一种简单而有效的可迁移性评估方法。具体而言，我们以重启策略对 each weight unit 上的梯度进行多次计算，随后计算所有梯度的期望。最后，通过归一化主梯度之差来估计源域与目标域之间的可迁移性。大量实验表明，所提度量在所有性质上均优于 SOTA 方法。