面向 AI 生成文本鲁棒检测的内蕴维度估计
计算与语言
2025-03-17 v2 人工智能
信息论
机器学习
代数拓扑
math.IT
摘要
AI 生成内容质量的快速提升使得区分人类与 AI 生成文本变得困难，这可能给社会带来不良后果。因此，研究人类文本中跨不同文本域与写作者水平保持不变、可对任意语言简便计算、并能鲁棒分离自然与 AI 生成文本（无论生成模型与采样方法）的属性变得愈发重要。本工作中，我们提出这样一种人类书写文本的不变性，即给定文本样本嵌入集合所依托流形的内蕴维度。我们表明，若干基于字母语言的自然流畅文本平均内蕴维度徘徊于 附近，中文约 ，而各语言 AI 生成文本的平均内蕴维度低约 ，人类与 AI 生成分布间存在清晰的统计分离。该性质使我们能构建基于分数的 AI 文本检测器。所提检测器的准确率在文本域、生成模型及人类写作者水平上都保持稳定，在模型无关与跨域场景下显著优于 SOTA 检测器。
引用
@article{arxiv.2306.04723,
title = {Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts},
author = {Eduard Tulchinskii and Kristian Kuznetsov and Laida Kushnareva and Daniil Cherniavskii and Serguei Barannikov and Irina Piontkovskaya and Sergey Nikolenko and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2306.04723},
year = {2025}
}