多阶段影响函数
机器学习
2020-07-20 v1 计算机视觉与模式识别
机器学习
摘要
从大规模预训练任务到各种微调任务的多阶段训练与知识迁移，已彻底改变了自然语言处理与计算机视觉，带来了最先进的性能提升。在本文中，我们提出了一种多阶段影响函数分数，用于将微调模型的预测一路追溯至预训练数据。借助该分数，我们可以识别预训练任务中对微调任务中某一预测贡献最大的预训练样本。所提出的多阶段影响函数推广了 (Koh & Liang, 2017) 中针对单一模型的影响函数，从而支持通过预训练模型与微调模型进行影响计算。我们研究了在微调任务中预训练嵌入固定或更新的两种不同场景。我们在多项实验中测试了所提方法，以展示其有效性与潜在应用。
引用
@article{arxiv.2007.09081,
title = {Multi-Stage Influence Function},
author = {Hongge Chen and Si Si and Yang Li and Ciprian Chelba and Sanjiv Kumar and Duane Boning and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2007.09081},
year = {2020}
}