UltraEdit：无需训练、无需主体、无需显存的终身编辑技术

终身学习使大语言模型（LLM）能够通过持续更新其内部知识来适应不断演变的信息。理想的系统应支持高效、广泛的更新，同时保留现有能力并确保可靠的部署。模型编辑作为一种解决此目标的有前景的方案，提供了一种集中且高效的方式来修订模型的内部知识。尽管最近的范式取得了显著进展，但它们往往难以满足大规模实际终身适应的需求。为弥合这一差距，我们提出了UltraEdit，这是一种无需训练、无需主体、无需显存的方法，适用于超大规模、实际的终身模型编辑。UltraEdit fundamentally differs from traditional paradigms by computing parameter shifts in one step using only a hidden state and its gradient, making the approach simple yet efficient. 为了提高终身环境下的可扩展性，UltraEdit 采用了一种终身归一化策略，不断更新跨回合的特征统计信息，使其能够适应分布性变化并在时间上保持一致性。UltraEdit 实现的编辑速度比上一最先进方法快超过 $7\times$，且仅需 $4\times$ 的显存。 这使得它成为目前唯一能在 24GB 消费级 GPU 上编辑 7B LLM 的方法。此外，我们构建了 UltraEditBench，目前该领域最大的数据集，包含超过 200 万对编辑数据，并演示了该方法支持最高达 200 万次编辑，同时保持高准确率。在五个数据集和六个模型上的全面实验表明，UltraEdit 在各种模型编辑场景下始终实现卓越的性能，为安全可扩展的终身学习迈出了进一步一步。我们的代码已公开于 https://github.com/XiaojieGu/UltraEdit。