情境编辑：从自诱分布中学习知识
计算与语言
2025-04-01 v4
摘要
在语言模型必须高效整合新信息而无需大量再训练的场景中，传统微调方法容易出现过拟合、泛化性下降和不自然的语言生成。为此，我们提出一致情境编辑（Consistent In-Context Editing, ICE），这是一种新方法，利用模型的情境学习能力优化其输出分布，而非针对单一目标进行优化。ICE引入一种简单而有效的优化框架，使模型通过对齐其在添加额外情境后的输出分布与未添加情境时的输出分布来内化新知识。该方法增强了梯度基础调优方法的鲁棒性和有效性，防止了过拟合并保留了模型的完整性。我们在知识编辑的四个关键方面分析ICE：准确性、局部性、泛化性和语言质量，证明了其优势。实验结果确认ICE的有效性，并展示了其在持续编辑中的潜力，确保在更新信息的同时保留模型的完整性。
引用
@article{arxiv.2406.11194,
title = {In-Context Editing: Learning Knowledge from Self-Induced Distributions},
author = {Siyuan Qi and Bangcheng Yang and Kailin Jiang and Xiaobo Wang and Jiaqi Li and Yifan Zhong and Yaodong Yang and Zilong Zheng},
journal= {arXiv preprint arXiv:2406.11194},
year = {2025}
}