MultiTrust：面向可信赖多模态大语言模型的综合基准
计算与语言
2024-12-09 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
尽管多模态大语言模型（MLLMs）在多样任务上表现卓越，但仍面临显著的可信赖性挑战。然而，现有关于可信赖 MLLM 评估的文献仍有限，缺乏系统性评估为未来改进提供详尽洞察。本 work 建立了MultiTrust——首个覆盖多模态大语言模型可信赖性的全面统一基准，涵盖五个核心方面：真实性、安全性、鲁棒性、公平性与隐私。该基准采用严格的评估策略，既涵盖多模态风险，也考察跨模态影响，包含32个多样化任务及自主构建的数据集。对21个现代 MLLM 进行大规模实验，揭示了此前未发现的可信赖性问题与风险，凸显多模态性带来的复杂性，凸显提升其可靠性的必要性。例如，主流专有模型在识别视觉混淆图像方面仍有困难，且易受到多模态越狱和对抗性攻击；MLLMs 在文本中倾向于泄露隐私信息，甚至在配合无关图像时也会透露意识形态和文化偏见，表明多模态性放大了来自基础 LLM 的内部风险。此外，我们发布了一个可扩展的工具箱，用于标准化可信赖性研究，旨�为该重要领域的未来进展提供支持。代码与资源已公开：https://multi-trust.github.io/。
引用
@article{arxiv.2406.07057,
title = {MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models},
author = {Yichi Zhang and Yao Huang and Yitong Sun and Chang Liu and Zhe Zhao and Zhengwei Fang and Yifan Wang and Huanran Chen and Xiao Yang and Xingxing Wei and Hang Su and Yinpeng Dong and Jun Zhu},
journal= {arXiv preprint arXiv:2406.07057},
year = {2024}
}
备注
100 pages, 84 figures, 33 tables