模型编辑中的正确微调

微调作为一种适应大语言模型的基础方法，长期以来被认为对模型编辑无效。在此，我们挑战这一观点，认为报告的失败并非源于微调本身的内在局限，而是源于将其适配到编辑任务的序列特性——一种在处理下一个样本之前将每个样本优化到收敛的单遍深度优先流水线。虽然直观，但这种深度优先流水线结合逐样本更新会导致每个编辑过度优化并在编辑之间产生干扰。我们的受控实验表明，只需将微调恢复到标准的广度优先（即基于epoch的）流水线并采用小批量优化，就能显著提高其在模型编辑中的有效性。此外，微调在编辑中还继承了先前方法的次优调参位置。通过对调参位置的系统分析，我们推导出LocFT-BF——一种基于恢复后的微调框架的简单有效的局部化编辑方法。在各种LLM和数据集上的广泛实验表明，LocFT-BF以较大优势超越了最先进的方法。值得注意的是，据我们所知，它是第一个在不牺牲通用能力的情况下持续处理10万次编辑和72B参数模型的方法，超出先前实践10倍。通过澄清一个长期存在的误解并引入一种原则性的局部化调参策略，我们将微调从被低估的基线提升为模型编辑的领先方法，为未来研究奠定了坚实基础。