稳健权重烙印：来自神经崩塌与代理聚合的洞见
机器学习
2026-03-04 v4 人工智能
摘要
基础模型的容量使其可应用于新的、未见的任务。这种任务上的适应称为迁移学习。一种规避参数优化的高效迁移学习方法是烙印。本工作在此框架下，系统性地考察现有烙印研究之间的概念差异。我们提出通用的IMPRINT框架，识别出三个主要组成部分：生成、归一化与聚合。通过此框架，我们进行深入分析和比较。我们的发现表明，在生成步骤中使用多个代理表示新数据具有好处，规范化也至关重要。超越广泛的分析基础，我们的框架使我们得以提出一种新型烙印变体，在迁移学习任务上性能提升4%。该变体通过受神经崩塌现象启发的方式确定代理——这是我们首次提出的联系。我们已公开发布代码：https://github.com/DATEXIS/IMPRINT
引用
@article{arxiv.2503.14572,
title = {Robust Weight Imprinting: Insights from Neural Collapse and Proxy-Based Aggregation},
author = {Justus Westerhoff and Golzar Atefi and Mario Koddenbrock and Alexei Figueroa and Alexander Löser and Erik Rodner and Felix A. Gers},
journal= {arXiv preprint arXiv:2503.14572},
year = {2026}
}