非干扰权重场：将模型参数视为可连续扩展的函数
机器学习
2026-02-24 v1 人工智能
摘要
大型语言模型将所有已学习知识存储于单个固定权重向量中。教导模型获得新能力需要修改这些相同权重，必然导致先前已获得知识的退化。这一根本性限制，称为灾难性遗忘，已坚持数十年难以获得原则性解决方案。现有方法将权重视为不可变的制品，必须通过正则化启发式、回放缓冲区或孤立适配器模块等技术加以保护。问题在于，这些方法均未提供对遗忘的结构性保证。在本工作中，我们提出非干扰权重场（NIWF），一种将固定权重范式替换为从连续能力坐标空间生成权重配置的学习函数的框架。在在某个任务上训练后，我们通过快照字段在锚点处的输出来提交占据的坐标区域，以在所有后续训练期间强制实施功能锁定。我们在顺序指令跟随和代码生成任务上对NIWF进行验证，使用Mistral-7B，显示在已提交任务上实现零遗忘，同时在新任务上保持具竞争力的困惑度。该框架引入了神经网络智能类似软件般版本控制的概念，使得能力能够在不重新训练的情况下提交、扩展、组合和回滚。
引用
@article{arxiv.2602.18628,
title = {Non-Interfering Weight Fields: Treating Model Parameters as a Continuously Extensible Function},
author = {Sarim Chaudhry},
journal= {arXiv preprint arXiv:2602.18628},
year = {2026}
}