受限嵌入用于鲁棒 AI 生成文本检测
计算与语言
2025-03-17 v1 人工智能
信息论
math.IT
摘要
大量且高质量的 AI 生成文本使得检测此类内容日益困难。在大多数实际场景中，生成数据的领域（风格和主题）以及生成模型均为未知。本文聚焦基于分类器的 AI 生成文本检测器的鲁棒性，即其对未知生成模型或语义领域的迁移能力。我们研究了基于 Transformer 的文本编码器嵌入空间的几何结构，表明清除有害线性子空间有助于训练鲁棒分类器，忽略领域特定的偶然特征。我们探讨了多种子空间分解和特征选择策略，在跨域和跨生成器迁移方面显著优于当前最先进方法。我们的 最佳 方法通过去除头层和坐标方法的子空间，使 RoBERTa 和 BERT 嵌入在特定设置下在平均 OOD 分类得分上分别提升最高可达 9% 和 14%。我们发布了代码和数据：https://github.com/SilverSolver/RobustATD
引用
@article{arxiv.2410.08113,
title = {Robust AI-Generated Text Detection by Restricted Embeddings},
author = {Kristian Kuznetsov and Eduard Tulchinskii and Laida Kushnareva and German Magai and Serguei Barannikov and Sergey Nikolenko and Irina Piontkovskaya},
journal= {arXiv preprint arXiv:2410.08113},
year = {2025}
}
备注
Accepted to Findings of EMNLP 2024