逆图灵测试 ($CT^2$): 面向印地语的 AI 生成文本检测——基于印地语 AI 可检测指数 ($ADI_{hi}$) 对 LLM 排序
计算与语言
2024-10-08 v2
摘要
大型语言模型（LLM）的广泛采用以及对多语言 LLM 认知的提高，引发了关于将 AI 生成文本错误用于场景所带来的潜在风险与后果的担忧， necessitating 增加警惕性。虽然这些模型主要为英文训练，但其在覆盖几乎整个网络的广泛数据集上的训练，使其在众多其他语言上表现出色。AI 生成文本检测（AGTD）已成为已获得immediate 注意的研究主题，随后出现了旁路检测技术。本文报告了我们对印地语 AGTD 的调查。我们的主要贡献包括四点：i) 检查了 26 个 LLM 以评估其生成印地语文本的熟练程度；ii) 引入 AI 生成的印地语新闻文章 () 数据集；iii) 评估了五种最新提出的 AGTD 技术：ConDA、J-Guard、RADAR、RAIDAR 和内在维度估计用于检测 AI 生成的印地语文本；iv) 提出印地语 AI 可检测指数 ()，以显示理解 AI 生成文本在印地语中优秀程度的演变格局。代码和数据集可在 https://github.com/ishank31/Counter_Turing_Test 获取。
引用
@article{arxiv.2407.15694,
title = {Counter Turing Test ($CT^2$): Investigating AI-Generated Text Detection for Hindi -- Ranking LLMs based on Hindi AI Detectability Index ($ADI_{hi}$)},
author = {Ishan Kavathekar and Anku Rani and Ashmit Chamoli and Ponnurangam Kumaraguru and Amit Sheth and Amitava Das},
journal= {arXiv preprint arXiv:2407.15694},
year = {2024}
}
备注
Accepted at EMNLP 2024 Findings