我们能否编辑多模态大语言模型？
计算与语言
2024-04-19 v5 人工智能
计算机视觉与模式识别
机器学习
多媒体
摘要
在本文中，我们聚焦于多模态大语言模型（MLLMs）的编辑。与编辑单模态 LLM 相比，多模态模型编辑更具挑战性，其在编辑过程中要求更高程度的审视与审慎考量。为促进该领域的研究，我们构建了一个名为 MMEdit 的新基准，用于编辑多模态 LLM，并建立了一套创新的评估指标。我们开展了涉及多种模型编辑基线的综合实验，并分析了编辑多模态 LLM 不同组件的影响。经验上，我们注意到此前的基线能在一定程度上实现多模态 LLM 的编辑，但效果仍难令人满意，表明该任务潜在的难度。我们希望我们的工作能为 NLP 社区提供启示。代码与数据集见 https://github.com/zjunlp/EasyEdit。
引用
@article{arxiv.2310.08475,
title = {Can We Edit Multimodal Large Language Models?},
author = {Siyuan Cheng and Bozhong Tian and Qingbin Liu and Xi Chen and Yongheng Wang and Huajun Chen and Ningyu Zhang},
journal= {arXiv preprint arXiv:2310.08475},
year = {2024}
}
备注
EMNLP 2023. Add the Exact Match/Accuracy results of Reliability and T-Generality