CaseEdit：通过小参数语言模型中的零空间约束知识编辑增强局部化常识推理
人工智能
2025-05-27 v1
摘要
大语言模型（LLM）在事实回忆和一般推理方面表现出色，但难以适应特定用户的常识知识，这一挑战在优先考虑计算效率的小参数设置中尤为突出。我们引入了 CaseEdit，一个新的数据集和生成流程，用于评估小 LLM 中局部化、个性化常识知识编辑，以解决这一问题。CaseEdit 构建于 ATOMIC20/20 常识图之上，使用多阶段推理过程为家庭物品生成典型和非典型的上下文编辑，并配以跨四个维度的针对性评估问题：可靠性、泛化性、局部性和可移植性。我们使用 CaseEdit 评估了现有的知识编辑方法，并证明 AlphaEdit（一种采用零空间投影以最小化对无关知识干扰的技术）在应用于 LLaMA 3.2 3B 模型时，即使在可扩展性测试中也始终优于其他方法，且表现出最小的连锁反应。我们的结果表明，将 CaseEdit 与 AlphaEdit 等有效编辑技术结合使用，可使小模型内化高质量、上下文敏感的常识知识，为轻量级个性化助手铺平道路。
引用
@article{arxiv.2505.19383,
title = {CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models},
author = {Varun Reddy and Yen-Ling Kuo},
journal= {arXiv preprint arXiv:2505.19383},
year = {2025}
}