安全张量作为跨模态桥梁：将文本对齐安全性扩展至视觉领域的 LVLM
计算机视觉与模式识别
2025-07-29 v1 人工智能
摘要
大型视觉语言模型（LVLMs）将对齐的大型语言模型（LLMs）与视觉模块集成以处理多模态输入。然而，针对文本-based LLMs 开发的安全机制未自然扩展到视觉模态，使 LVLMs 易受有害图像输入的攻击。为解决此跨模态安全差距，我们引入了安全张量——在推理过程中通过文本或视觉模态应用的可训练输入向量。这些张量在不修改模型参数的情况下将文本安全对齐传输到视觉处理。它们使用包含（i）需要拒绝的恶意图像-文本对、（ii）结构类似于恶意查询的对比良性对（用于引导视觉依赖）以及（iii）保留模型功能的一般良性样本的精选数据集进行优化。实验结果表明，文本和视觉安全张量显著增强了 LVLMs 对拒绝多样有害视觉输入的能力，同时在良性任务上保持接近相同的性能。进一步的内部分析表明，安全张量成功地在视觉输入中激活了语言模块的文本“安全层”，从而有效地将基于文本的安全性扩展到视觉模态。
引用
@article{arxiv.2507.20994,
title = {Security Tensors as a Cross-Modal Bridge: Extending Text-Aligned Safety to Vision in LVLM},
author = {Shen Li and Liuyi Yao and Wujia Niu and Lan Zhang and Yaliang Li},
journal= {arXiv preprint arXiv:2507.20994},
year = {2025}
}
备注
Codes and data are available at https://github.com/listen0425/Security-Tensors