从遗忘中学习：通过遗忘的逆向预测知识溢出权重
机器学习
2026-03-19 v2 人工智能
计算机视觉与模式识别
摘要
预训练权重已成为现代深度学习的基石，使能够高效地进行知识迁移并在数据稀缺场景中提高下游任务性能。然而，一个根本性问题仍悬而未决：如何获得更好的预训练权重，以封装超出给定数据集的更多知识？本文引入了 KNOWLEDGE-OVERFLOWED WEIGHTS（KNOW）预测，这是一种新型策略，利用结构化遗忘及其逆向过程来综合知识丰富的权重。我们的关键洞见是，依次在逐步缩小的数据集上进行微调会导致结构化遗忘过程，这一过程可以被建模并逆转，以恢复仿佞在更大数据集上训练的知识。我们构建了一个受该受控遗忘治理的权重转换数据集，并采用 meta-learning 来有效地建模权重预测。具体而言，我们的 KNowledge-Overflowed Weights Nowcaster（KNOWN）充当一个 hyper-model，学习权重的一般演化规律并预测增强的权重，以实现更好的泛化。广泛的实验在不同数据集和体系结构上表明，KNOW 预测 consistently 超过 Naive fine-tuning 和 simple weight prediction，导致下游性能优于。我们的工作提供了一种重新诠释遗忘动力学以推动知识转移极限的新视角。代码和预训练模型均可用于 https://github.com/jjh6297/KNOW 获取。
引用
@article{arxiv.2508.05059,
title = {Learning from Oblivion: Predicting Knowledge Overflowed Weights via Retrodiction of Forgetting},
author = {Jinhyeok Jang and Jaehong Kim and Jung Uk Kim},
journal= {arXiv preprint arXiv:2508.05059},
year = {2026}
}
备注
To appear in CVPR 2026