利用 LLM 与提示工程检测廉价伪造
计算机视觉与模式识别
2023-06-06 v1
摘要
在新闻中滥用带有冲突图像说明的真实照片是媒体脱离语境（OOC）滥用的一个例子。为检测 OOC 媒体，个体必须判定陈述的准确性，并评估三元组（即图像与两段说明）是否关联同一事件。本文提出一种用于 ICME'23 检测廉价伪造大挑战中 OOC 媒体检测的可学习新方法。所提方法基于 COSMOS 结构，其评估图像与说明之间以及两段说明之间的连贯性。我们通过引入大语言模型（LLM）GPT3.5 作为特征提取器来增强基线算法。具体而言，我们提出一种利用提示工程进行特征提取的创新方法，以基于 GPT3.5 模型开发稳健可靠的特征提取器。所提方法捕捉两段说明间的相关性，并将该模块有效整合进 COSMOS 基线模型，从而允许更深入理解说明间关系。通过引入该模块，我们展示了廉价伪造检测性能显著提升的潜力。所提方法对自然语言处理、图像说明生成及文本到图像合成等多种应用具有可喜意义。提交用 Docker 见 https://hub.docker.com/repository/docker/mulns/ acmmmcheapfakes。
引用
@article{arxiv.2306.02776,
title = {Cheap-fake Detection with LLM using Prompt Engineering},
author = {Guangyang Wu and Weijie Wu and Xiaohong Liu and Kele Xu and Tianjiao Wan and Wenyi Wang},
journal= {arXiv preprint arXiv:2306.02776},
year = {2023}
}
备注
ICME2023 Workshop