LookupForensics：面向多阶段图像式事实核查的大规模多任务数据集
计算机视觉与模式识别
2024-07-29 v1 多媒体
摘要
随着合成图像（尤其是深度伪造内容）的涌现，广泛研究旨在使用人工智能（AI）识别面对不断进步的造假技术所产生的合成内容。我们调查了使用 AI 提供深度伪造检测后的原始真实图像的做法，这我们认为是可靠且有说服力的解决方案。我们称之为“图像式自动事实核查”，这一名称源自面向记者的文本式事实核查系统。我们开发了一个两阶段开放框架，将检测和检索组件集成在一起。此外，受 Meta Fundamental AI Research 提出的数据集启发，我们进一步构建了一个专为该任务设计的大规模数据集。该数据集模拟真实世界条件，包括既保留内容又敏感于内容的操纵，呈现出不同难度水平，具有持续研究的潜力。该多任务数据集得到完全标注，能够用于 forgery 识别和 fact retrieval 领域的各个子任务。本文作出两个主要贡献：（1）我们引入了新的任务“图像式自动事实核查”，并提出了一个将“forgery 识别”和“fact retrieval”结合的 novel 两阶段开放框架。（2）我们呈现了一个为该新任务量身定制的大规模数据集，特点是各种手工图像编辑和机器学习驱动的操纵，具有广泛的标注，适用于各种子任务。大量实验结果验证了其在事实核查研究中的实际性，并阐明了各种子任务的难度水平。
引用
@article{arxiv.2407.18614,
title = {LookupForensics: A Large-Scale Multi-Task Dataset for Multi-Phase Image-Based Fact Verification},
author = {Shuhan Cui and Huy H. Nguyen and Trung-Nghia Le and Chun-Shien Lu and Isao Echizen},
journal= {arXiv preprint arXiv:2407.18614},
year = {2024}
}
备注
Pages 1-13 are the main body of the paper, and pages 14-16 are the supplementary material