通过检查注意力图的拓扑结构进行人工智能生成文本检测
计算与语言
2023-02-09 v2 机器学习
代数拓扑
摘要
近期生成模型在创建难以与人类撰写文本区分的文本方面具有令人印象深刻的能力，这可能被滥用于生成假新闻、产品评论甚至辱骂性内容。尽管现有的人工智能生成文本检测方法表现突出，但它们仍然缺乏对未见模型的解释性和鲁棒性。为此，基于拓扑数据分析（TDA），我们为这项任务提出了三种新颖的可解释拓扑特征类型，而 TDA 在 NLP 领域目前研究不足。我们实证表明，从 BERT 模型导出的特征在三个常见数据集上优于基于计数和基于神经的基线高达 10%，并且与现有方法相反，它们对未见 GPT 风格生成模型往往最鲁棒。对这些特征的探针分析揭示了它们对表面和句法性质的敏感性。结果表明，TDA 在 NLP 任务方面是一条有前景的研究路线，特别是那些结合了表面和结构信息的任务。
引用
@article{arxiv.2109.04825,
title = {Artificial Text Detection via Examining the Topology of Attention Maps},
author = {Laida Kushnareva and Daniil Cherniavskii and Vladislav Mikhailov and Ekaterina Artemova and Serguei Barannikov and Alexander Bernstein and Irina Piontkovskaya and Dmitri Piontkovski and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2109.04825},
year = {2023}
}
备注
Accepted to EMNLP 2021