博士后翻译学生能否识别机器生成文本？
计算与语言
2025-04-21 v2 人工智能
摘要
鉴于生成式人工智能日益广泛地用作创建多语言内容的工具，以绕过机器和传统翻译方法，本研究探讨了经过语言培训的个人在区分机器生成输出与人类撰写文本（HT）方面的能力。经过简短的培训后，23 名博士后翻译学生分析意大利语散文片段并 assigned 概率得分，以表明他们认为它们是人类撰写的还是 AI 生成的（ChatGPT-4o）。结果表明，学生们在平均情况下难以区分 HT 与 ST，只有两位参与者取得了显著的准确率。更深入的分析揭示，学生们往往在 HT 和 ST 中识别出相同的文本异常，尽管低突发率和自相矛盾等特征更常与 ST 相关联。这一发现表明需要改进准备性培训。此外，本研究提出了对使其听起来更像人类语言的合成文本进行编辑的必要性，并建议进一步研究 AI 生成的文本是否已经足够自然，不需要进一步的细化。
引用
@article{arxiv.2504.09164,
title = {Can postgraduate translation students identify machine-generated text?},
author = {Michael Farrell},
journal= {arXiv preprint arXiv:2504.09164},
year = {2025}
}
备注
10 pages, accepted for MT Summit 2025, Geneva, Switzerland, 23-27 June 2025