大型多模态模型中的上下文劫持
人工智能
2024-05-14 v2 计算与语言
摘要
近年来，大型多模态模型（LMMs）已展现出在给定图像相关指令时理解图像视觉内容的能力。基于大型语言模型（LLMs）构建的LMMs还继承了它们的能力和特性，例如上下文学习（in-context learning），即给定连贯的图像与文本序列作为输入提示。然而，我们发现了现成LMMs的一个新局限：少量不连贯的图像或文本描述会误导LMMs仅生成关于被劫持上下文（hijacked context）的偏置输出，而非最初预期的上下文。为此，我们提出了一种预过滤方法，利用GPT-4V基于其对上下文内分布偏移的鲁棒性来移除不相关上下文。我们进一步探究了通过GPT-4V和文本到图像模型将被劫持的视觉与文本上下文替换为相关上下文，是否有助于产生连贯响应。
引用
@article{arxiv.2312.07553,
title = {Hijacking Context in Large Multi-modal Models},
author = {Joonhyun Jeong},
journal= {arXiv preprint arXiv:2312.07553},
year = {2024}
}
备注
Technical Report. Preprint