BS 计量器：一种经 ChatGPT 训练、用于检测语言游戏“垃圾话”的工具
计算与语言
2025-06-11 v2 人工智能
人机交互
摘要
通过研究 ChatGPT 和其他大型语言模型（LLM）驱动的聊天机器人如何使用语言，我们能从中学到什么？本文分析了 ChatGPT 生成语言的独特特征，并联系到自然语言处理先驱、维特根斯坦研究者玛格丽特·马斯特曼所提出的问题。针对 LLM 驱动的聊天机器人经常产生“垃圾话”（slop），甚至法兰克福在其广受欢迎的专著《论废话》中所定义的“废话”（bullshit）的频繁抱怨，我们进行了一项实证研究，将 1000 篇科学出版物的语言与 ChatGPT 生成的典型文本进行对比。随后，我们探讨了在两种著名的社会功能失调情境中是否能检测到相同的语言特征：乔治·奥威尔对政治言论的批判，以及大卫·格雷伯对“狗屁工作”的描述。通过使用简单的假设检验方法，我们证明，一个关于“马虎废话”的统计模型能够可靠地将 ChatGPT 产生的法兰克福式人工废话，与自然人类语言中观察到的、在政治和工作场所中发挥作用的“废话”联系起来。
关键词
引用
@article{arxiv.2411.15129,
title = {The BS-meter: A ChatGPT-Trained Instrument to Detect Sloppy Language-Games},
author = {Alessandro Trevisan and Harry Giddens and Sarah Dillon and Alan F. Blackwell},
journal= {arXiv preprint arXiv:2411.15129},
year = {2025}
}