AI 对比人类——科学内容生成的差异性分析
计算与语言
2023-02-14 v2 人工智能
摘要
近期的神经语言模型在生成高度可控、流畅且合乎语法的文本方面取得了显著进展。尽管研究发现众包工作者无法区分 AI 生成文本与人类书写文本，但 AI 生成文本中仍存在更为微妙且更难察觉的错误。我们主要关注科学 AI 写作助手深度参与的场景。首先，基于人工评估，我们构建了一个从语法、语义和语用层面区分 AI 生成文本与人类书写文本的特征描述框架。随后，利用所提框架中的写作风格、连贯性、一致性与论证逻辑等特征对两类内容进行分析。最后，我们采用若干公开可用方法，借助 AI 生成科学文本检测模型探究 AI 生成科学文本与人类书写科学文本之间的差距。结果表明，尽管 AI 有潜力生成与人类书写内容同样准确的科学内容，但在深度与整体质量上仍存在差距。AI 生成的科学内容更可能包含事实性错误。我们发现 AI 生成科学文本与人类书写科学文本之间存在“写作风格”差距。基于分析结果，我们总结了一系列模型无关与分布无关的特征，用于其他领域的检测任务。本文发现有助于指导 AI 模型优化以产出高质量内容，并应对相关的伦理与安全关切。
引用
@article{arxiv.2301.10416,
title = {AI vs. Human -- Differentiation Analysis of Scientific Content Generation},
author = {Yongqiang Ma and Jiawei Liu and Fan Yi and Qikai Cheng and Yong Huang and Wei Lu and Xiaozhong Liu},
journal= {arXiv preprint arXiv:2301.10416},
year = {2023}
}