从后向传播到前向重放：论 LLM 参数编辑中的目标构建方法的再思考

LLM 参数编辑方法通常依赖于计算目标层的理想隐藏状态锚点（称为锚点），并将目标向量分发到多个前置层（通常称为后向传播）进行协同编辑。尽管该方法使用已久，但其背后的基础理论尚未系统探讨。本文首先系统研究了其基础理论，帮助阐明其能力边界、实际考量及潜在失效模式。随后，我们提出一种简单而优雅的替代方案，将后向传播替换为前向传播。我们不再在最终的编辑层优化目标，而是在首个编辑层优化锚点，然后前向传播以获得所有后续编辑层准确且相互兼容的隐藏状态目标。该方法在计算复杂度上与现有方法相当，但生成的层级目标更精确。我们的做法简单，既不干扰初始目标隐藏状态的计算，也不影响后续编辑流程的其他组件，因而对广泛的 LLM 参数编辑方法都有益。