利用大型视觉语言模型审核不安全用户生成内容游戏的非法在线图像推广
计算机与社会
2024-08-13 v2 计算与语言
机器学习
社会与信息网络
摘要
在线用户生成内容游戏在儿童和青少年中越来越受欢迎，用于社交互动和更具创造性的在线娱乐。然而，它们带来了接触露骨内容的高风险，引发了人们对儿童和青少年网络安全的日益担忧。尽管存在这些担忧，但很少有研究涉及社交媒体上不安全 UGCGs 的非法图像推广问题，这可能会无意中吸引年轻用户。这一挑战源于难以获得 UGCG 图像的全面训练数据，以及这些图像与传统不安全内容不同的独特性质。在这项工作中，我们迈出了研究不安全 UGCGs 非法推广威胁的第一步。我们收集了一个真实世界的数据集，包含 2,924 张展示各种性露骨和暴力内容的图像，这些图像被游戏创作者用于推广 UGCGs。我们的深入研究揭示了对这一问题的新认识以及自动标记非法 UGCG 推广的迫切需要。我们还创建了一个前沿系统 UGCG-Guard，旨在帮助社交媒体平台有效识别用于非法 UGCG 推广的图像。该系统利用最近引入的大型视觉语言模型，并采用新颖的条件提示策略进行零样本域适应，同时结合思维链推理进行上下文识别。UGCG-Guard 取得了出色的结果，在真实场景中检测用于此类游戏非法推广的图像的准确率达到 94%。
引用
@article{arxiv.2403.18957,
title = {Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models},
author = {Keyan Guo and Ayush Utkarsh and Wenbo Ding and Isabelle Ondracek and Ziming Zhao and Guo Freeman and Nishant Vishwamitra and Hongxin Hu},
journal= {arXiv preprint arXiv:2403.18957},
year = {2024}
}
备注
To Appear in the 33rd USENIX Security Symposium, August 14-16, 2024