VLKEB：大型视觉 - 语言模型知识编辑基准

最近，大型语言模型 (LLMs) 上的知识编辑受到了广泛关注。相比之下，编辑大型视觉 - 语言模型 (LVLMs) 面临着来自多样化数据模态和复杂模型组件的额外挑战，且用于 LVLMs 编辑的数据有限。现有的 LVLM 编辑基准包含三个指标（可靠性、局部性和通用性），但在合成评估图像的质量方面存在不足，且无法评估模型是否在相关内容中应用了编辑后的知识。因此，我们采用更可靠的数据收集方法构建了一个新的大型视觉 - 语言模型知识编辑基准 VLKEB，并扩展了可移植性指标以进行更全面的评估。利用多模态知识图谱，我们的图像数据与知识实体绑定。这可进一步用于提取实体相关知识，构成编辑数据的基础。我们在五个 LVLMs 上进行了不同编辑方法的实验，并深入分析了它们如何影响模型。结果揭示了这些方法的优势和不足，有望为未来研究提供见解。代码和数据集可在以下地址获取：https://github.com/VLKEB/VLKEB。