知识适应性：后验校正视角
机器学习
2025-12-10 v3 人工智能
机器学习
摘要
适应是智能的终极目标，但即便是最好的AI模型也不具备婴儿般的适应能力。尽管取得了巨大进展，但关于机器如何像人类和动物一样快速学习适应的机制仍知之甚少。我们将适应建模为对旧后验的“校正”，并指出，广泛的现有适应方法都遵循这一原则，包括用于持续学习、联邦学习、遗忘和模型合并的方法。在所有这些场景中，更精确的后验往往导致更小的校正，从而可实现更快的适应。后验校正通过使用Khan和Rue(2023)提出的贝叶斯学习规则的二元表示来推导，其中旧表示与新信息之间的干扰通过自然梯度失配来量化。我们提供了许多示例，说明机器如何通过后验校正实现快速适应。
引用
@article{arxiv.2506.14262,
title = {Knowledge Adaptation as Posterior Correction},
author = {Mohammad Emtiyaz Khan},
journal= {arXiv preprint arXiv:2506.14262},
year = {2025}
}