大型语言模型在社交媒体上生成的回复与续写的一致性
计算与语言
2025-11-05 v6 人工智能
人机交互
摘要
大型语言模型（LLM）在文本生成方面展现出卓越的能力，但它们在社交媒体语境下的情感一致性和语义连贯性仍未被充分理解。本研究通过使用三个开源模型（Gemma、Llama3和Llama3.3）以及一个商业模型（Claude），在续写和回复任务中探究LLM如何处理情感内容并维持语义关系。通过分析来自Twitter和Reddit的气候变化讨论，我们考察了人类撰写内容与LLM生成内容之间的情感转变、强度模式以及语义一致性。我们的发现表明，尽管两个模型都保持了较高的语义连贯性，但它们表现出不同的情感模式：这些模型显示出强烈的缓和负面情绪的倾向。当输入文本带有愤怒、厌恶、恐惧或悲伤等负面情绪时，LLM倾向于生成更中性情绪的内容，甚至将其转化为喜悦或惊讶等正面情绪。同时，我们将LLM生成的内容与人类撰写的内容进行了比较。四个模型在回复任务中系统性地生成了情感强度降低的回复，并表现出对中性理性情感的偏好。此外，这些模型均与原始文本保持了较高的语义相似性，尽管它们在续写任务和回复任务中的表现有所不同。这些发现为LLM的情感和语义处理能力提供了深刻见解，对其在社交媒体环境中的部署以及人机交互设计具有重要意义。
引用
@article{arxiv.2501.08102,
title = {Consistency of Responses and Continuations Generated by Large Language Models on Social Media},
author = {Wentao Xu and Wenlu Fan and Yuqi Zhu and Bin Wang},
journal= {arXiv preprint arXiv:2501.08102},
year = {2025}
}
备注
This paper has been accepted by the 20th International AAAI Conference on Web and Social Media (ICWSM 2026), sunny Los Angeles, California, U.S