社交媒体中人类生成与AI生成选举声明的分类
计算与语言
2024-04-29 v2 人工智能
摘要
政治是社交媒体平台上讨论最普遍的话题之一，特别是在重大选举周期中，用户会就候选人和选举过程进行对话。恶意行为者可能利用这一机会传播错误信息，以破坏对选举过程的信任。大语言模型（LLM）的出现加剧了这一问题，使恶意行为者能够以前所未有的规模生成错误信息。人工智能（AI）生成的内容通常与真实用户内容难以区分，引发了对社交网络信息完整性的担忧。在本文中，我们提出了一种新颖的选举相关声明分类体系。该分类体系提供了一个分析选举相关声明的工具，包含与管辖权、设备、流程和声明性质相关的细粒度类别。我们引入了ElectAI，一个新颖的基准数据集，包含9,900条推文，每条标记为人类生成或AI生成。对于AI生成的推文，还指定了生成它们的具体LLM变体。我们使用所提出的分类体系对1,550条推文的子集进行了标注，以捕捉选举相关声明的特征。我们探索了LLM在提取分类体系属性方面的能力，并使用ElectAI训练了各种机器学习模型，以区分人类生成和AI生成的帖子，并识别具体的LLM变体。
引用
@article{arxiv.2404.16116,
title = {Classifying Human-Generated and AI-Generated Election Claims in Social Media},
author = {Alphaeus Dmonte and Marcos Zampieri and Kevin Lybarger and Massimiliano Albanese and Genya Coulter},
journal= {arXiv preprint arXiv:2404.16116},
year = {2024}
}