Llama Guard 3 Vision：保障人机图像理解对话安全
计算机视觉与模式识别
2024-11-18 v1 计算与语言
摘要
我们推出 Llama Guard 3 Vision，一种基于多模态 LLM 的保障机制，用于涉及图像理解的人机对话：可用于保障多模态 LLM 输入（提示分类）和输出（响应分类）的内容安全。与之前仅文本的 Llama Guard 版本（Inan 等，2023；Llama Team，2024b,a）不同，它专门设计用于支持图像推理用例，并针对检测有害多模态（文本和图像）提示及对这些提示的文本响应进行了优化。Llama Guard 3 Vision 基于 Llama 3.2-Vision 微调，在使用 MLCommons 分类法的内部基准上展现出强劲性能。我们还测试了其对抗攻击的鲁棒性。我们相信 Llama Guard 3 Vision 可作为构建更强大、更鲁棒的多模态人机对话内容审核工具的良好起点。
引用
@article{arxiv.2411.10414,
title = {Llama Guard 3 Vision: Safeguarding Human-AI Image Understanding Conversations},
author = {Jianfeng Chi and Ujjwal Karn and Hongyuan Zhan and Eric Smith and Javier Rando and Yiming Zhang and Kate Plawiak and Zacharie Delpierre Coudert and Kartikeya Upasani and Mahesh Pasupuleti},
journal= {arXiv preprint arXiv:2411.10414},
year = {2024}
}