有害YouTube视频检测：在线危害分类学与多模态大语言模型作为替代标注者
多媒体
2024-11-12 v1 人工智能
计算机视觉与模式识别
计算机与社会
摘要
短视频平台（如YouTube、Instagram或TikTok）被全球数十亿用户使用。这些平台使用户接触到有害内容，从标题党或人身伤害到错误信息或网络仇恨。然而，检测有害视频仍然具有挑战性，因为对什么构成危害的理解不一致，且人工标注的资源和精神负担有限。因此，本研究推进了检测视频内容危害的措施和方法。首先，我们为视频平台上的在线危害开发了一个全面的分类学，将其分为六个类别：信息危害、仇恨和骚扰、成瘾性、标题党、性危害和身体危害。接下来，我们确立了多模态大语言模型（MLLMs）作为有害视频的可靠标注者。我们使用14帧图像、1个缩略图和文本元数据分析了19,422个YouTube视频，比较了众包工人和GPT-4-Turbo与领域专家标注（作为金标准）的准确性。结果表明，GPT-4-Turbo在二元分类（有害与无害）和多标签危害分类任务中均优于众包工人。在方法论上，本研究将LLM的应用扩展到文本标注和二元分类之外的多标签和多模态上下文。在实践中，本研究通过指导视频平台上危害内容的定义和识别，为在线危害缓解做出了贡献。
引用
@article{arxiv.2411.05854,
title = {Harmful YouTube Video Detection: A Taxonomy of Online Harm and MLLMs as Alternative Annotators},
author = {Claire Wonjeong Jo and Miki Wesołowska and Magdalena Wojcieszak},
journal= {arXiv preprint arXiv:2411.05854},
year = {2024}
}