OPSC: 作为催化剂的大语言模型检测有害表情包
人工智能
2024-06-17 v1 计算与语言
计算机视觉与模式识别
摘要
表情包在互联网上快速传播个人意见和立场，也在传播社会偏见和偏见方面 presents 重要挑战。本研究提出了一种新方法，用于检测有害表情包，特别是在新加坡多文化、多语言背景下。我们的 метод论将图像描述、光学字符识别 (OCR) 和大语言模型 (LLM) 分析相结合，全面理解和分类有害表情包。利用 BLIP 模型进行图像描述，PP-OCR 和 TrOCR 进行多语言文本识别，以及 Qwen 大语言模型进行细致的语言理解，我们的系统能够识别由英语、中文、马来文和泰米尔语创建的有害内容。为提高系统性能，我们通过利用使用 GPT-4V 标记的额外数据进行微调，旨在将 GPT-4V 对有害表情包的理解能力蒸馏到我们的系统中。我们的框架在 AI 新加坡举办的 Online Safety Prize Challenge 公共排行榜中取得第一, AUROC 为 0.7749，准确率为 0.7087，显著优于其他团队。值得注意的是，我们的方法在先前基准测试中显著优于 FLAVA（AUROC 为 0.5695）和 VisualBERT（AUROC 为 0.5561）。
引用
@article{arxiv.2406.09779,
title = {OSPC: Detecting Harmful Memes with Large Language Model as a Catalyst},
author = {Jingtao Cao and Zheng Zhang and Hongru Wang and Bin Liang and Hao Wang and Kam-Fai Wong},
journal= {arXiv preprint arXiv:2406.09779},
year = {2024}
}