LOKI：基于大型多模态模型的综合合成数据检测基准

Junyan Ye; Baichuan Zhou; Zilong Huang; Junan Zhang; Tianyi Bai; Hengrui Kang; Jun He; Honglin Lin; Zihao Wang; Tong Wu; Zhizheng Wu; Yiping Chen; Dahua Lin; Conghui He; Weijia Li

LOKI：基于大型多模态模型的综合合成数据检测基准

计算机视觉与模式识别 2025-04-22 v2

作者: Junyan Ye , Baichuan Zhou , Zilong Huang , Junan Zhang , Tianyi Bai , Hengrui Kang , Jun He , Honglin Lin , Zihao Wang , Tong Wu , Zhizheng Wu , Yiping Chen , Dahua Lin , Conghui He , Weijia Li

在 arXiv 上查看 ↗ PDF ↗

摘要

随着AI生成内容的快速发展，未来的互联网可能被合成数据淹没，这使得区分真实和可信的多模态数据变得日益具有挑战性。因此，合成数据检测引起了广泛关注，大型多模态模型（LMM）在此任务中的性能也受到高度关注。LMM可以为其真实性判断提供自然语言解释，增强合成内容检测的可解释性。同时，区分真实与合成数据的任务有效地测试了LMM的感知、知识和推理能力。为此，我们引入LOKI，一个新颖的基准，用于评估LMM在多模态数据中检测合成数据的能力。LOKI涵盖视频、图像、3D、文本和音频等模态，包含18K个经过精心挑选的问题，覆盖26个子类别，具有明确的难度级别。该基准包括粗粒度判断和多选题，以及细粒度异常选择和解释任务，允许对LMM进行全面分析。我们在LOKI上评估了22个开源LMM和6个闭源模型，凸显了其作为合成数据检测器的潜力，也揭示了LMM能力开发中的一些局限性。关于LOKI的更多信息请访问https://opendatalab.github.io/LOKI/

关键词

合成数据检测大型多模态模型基准测试多模态评估 LOKI AI生成内容

引用

@article{arxiv.2410.09732,
  title  = {LOKI: A Comprehensive Synthetic Data Detection Benchmark using Large Multimodal Models},
  author = {Junyan Ye and Baichuan Zhou and Zilong Huang and Junan Zhang and Tianyi Bai and Hengrui Kang and Jun He and Honglin Lin and Zihao Wang and Tong Wu and Zhizheng Wu and Yiping Chen and Dahua Lin and Conghui He and Weijia Li},
  journal= {arXiv preprint arXiv:2410.09732},
  year   = {2025}
}

备注

ICLR 2025 SPOTLIGHT, 83 pages, 63 figures

LOKI：基于大型多模态模型的综合合成数据检测基准

摘要

关键词

引用

备注

相关论文