语义差值：区分人类与LLM对话的可解释信号
计算与语言
2026-03-23 v1 人工智能
摘要
LLM是否像我们一样说话？这个问题引发了众多学者的关注，在教育、学术等多个领域都有重要意义。本工作提出一种可解释的统计特征，用于区分人类撰写与LLM生成的对话。我们引入一种从语义类别分布派生的轻量级指标。基于Empath词汇分析框架，对文本进行映射到一组主题强度得分。我们定义语义差值为对话中两个最主要类别强度之间的差值，假设LLM输出在主题浓度上更为集中，而人类话语呈现更广泛且更均衡的语义分布。为评估这一假设，我们生成了来自多个LLM配置的对话数据，并与异构的人类语料库进行比较，包括剧本对话、文学作品和线上讨论。对语义差值分布应用了Welch t检验。结果表明，AI生成的文本始终产生更高的差值，表明其主题结构更为刚性，而人类对话则显示更广泛且更均衡的语义分布。该提出的零样本指标为计算成本较低的互补信号， 可整合到集成检测系统中。这些发现也为更广泛地理解LLM行为模仿贡献了经验依据，表明主题分布是一种可量化的维度，当前模型在对话动态方面仍不足以模拟人类水平。
引用
@article{arxiv.2603.19849,
title = {Semantic Delta: An Interpretable Signal Differentiating Human and LLMs Dialogue},
author = {Riccardo Scantamburlo and Mauro Mezzanzana and Giacomo Buonanno and Francesco Bertolotti},
journal= {arXiv preprint arXiv:2603.19849},
year = {2026}
}