知识适应先验
机器学习
2021-10-28 v2 人工智能
机器学习
摘要
人类和动物具有快速适应环境的天然能力，但机器学习模型在面临变化时往往需要从头开始完全重新训练。我们提出知识适应先验(K-priors, Knowledge-adaptation priors)以通过为广泛任务和模型实现快速而准确的适应来降低重新训练的成本。这得益于权重和函数空间先验的结合以重建过去的梯度，从而恢复并推广了许多现有但看似无关的适应策略。使用简单的一阶梯度方法训练，通过选择足够大的过去数据记忆，通常能以任意精度恢复精确的重新训练模型。实证结果表明，使用 K-priors 进行适应取得的性能与完全重新训练相似，但仅需要在少量过去样本上训练。
引用
@article{arxiv.2106.08769,
title = {Knowledge-Adaptation Priors},
author = {Mohammad Emtiyaz Khan and Siddharth Swaroop},
journal= {arXiv preprint arXiv:2106.08769},
year = {2021}
}