评估LLM理解社会动态的能力
机器学习
2024-11-21 v1 人工智能
摘要
社交媒体话语涉及不同背景、信仰和动机的人群。因此,此类话语往往会演变为有毒互动。生成式模型(如Llama和ChatGPT)近期因其零样本问答能力而迅速走红。由于这些模型越来越多地被用于询问具有社会意义的问题,一个关键的研究问题是它们能否理解社交媒体动态。本工作对生成式LLM理解社会语境中的语言和动态的能力进行了批判性分析,特别是考虑了网络欺凌和反网络欺凌(旨在减少网络欺凌的帖子)互动。具体而言,我们比较和对比了不同大型语言模型(LLM)在理解社会动态三个关键方面的能力:语言、方向性以及欺凌/反欺凌信息的出现。我们发现,虽然微调后的LLM在某些社交媒体理解任务(理解方向性)中表现出有希望的结果,但在其他任务(适当改写和欺凌/反欺凌检测)中结果参差不齐。我们还发现,微调和提示工程机制在某些任务中可以产生积极影响。我们认为,理解LLM的能力对于设计未来能够有效用于社会应用的模型至关重要。
引用
@article{arxiv.2411.13008,
title = {Evaluating LLMs Capabilities Towards Understanding Social Dynamics},
author = {Anique Tahir and Lu Cheng and Manuel Sandoval and Yasin N. Silva and Deborah L. Hall and Huan Liu},
journal= {arXiv preprint arXiv:2411.13008},
year = {2024}
}
备注
To appear in ASONAM 24 proceedings