解构SITT：社会影响技术分类法与基于LLM的检测
计算与语言
2025-06-03 v1 人工智能
摘要
在这项工作中，我们提出了社会影响技术分类法(SITT)，这是一个包含58种经验性基础技术并组织成九个类别的综合框架，旨在检测文本内容中微妙形式的社会影响。我们还研究了LLM识别各种形式社会影响的能力。基于跨学科基础，我们构建了SITT数据集——一个由11位专家用波兰语标注并翻译成英语的746段对话语料库——以评估LLM识别这些技术的能力。使用分层多标签分类设置，我们对五个LLM进行了基准测试，包括GPT-4o、Claude 3.5、Llama-3.1、Mixtral和PLLuM。我们的结果表明，尽管一些模型（特别是Claude 3.5）取得了中等程度的成功（类别F1分数 = 0.45），但模型的总体性能仍然有限，特别是在对上下文敏感的技术方面。这些发现表明当前LLM对细微语言线索的敏感性存在关键局限，并强调了领域特定微调的重要性。这项工作为理解LLM如何检测、分类并潜在复制自然对话中的社会影响策略提供了一个新的资源和评估示例。
引用
@article{arxiv.2506.00061,
title = {Unraveling SITT: Social Influence Technique Taxonomy and Detection with LLMs},
author = {Wiktoria Mieleszczenko-Kowszewicz and Beata Bajcar and Aleksander Szczęsny and Maciej Markiewicz and Jolanta Babiak and Berenika Dyczek and Przemysław Kazienko},
journal= {arXiv preprint arXiv:2506.00061},
year = {2025}
}