基于论点稀有性的 AI 辅助写作原创性评估
计算与语言
2026-02-24 v3
摘要
本研究提出论点稀有性原创性评估框架（AROA），用于自动评估学生作文中的论证原创性。AROA 将原创性定义为参考语料库中的稀有性，通过四个互补组件进行评估：结构稀有性、论点稀有性、证据稀有性和认知深度，通过密度估计实现，并与质量调整集成。使用包含 1,375 篇人类作文和 1,000 篇 AI 生成作文的实验，针对两个论证主题发现三个关键发现。首先，文本质量与论点稀有性之间呈强烈负相关（r = -0.67），表明质量与原创性之间存在权衡。其次，尽管 AI 作文几乎实现了完美的质量分数（Q = 0.998），但其论点稀有性约为人类水平的五分之一（AI: 0.037, 人类: 0.170），表明大型语言模型能够再现论证结构，但无法体现语义原创性。第三，四个组件之间关联较低（结构与语义维度之间的相关系数 r = 0.06--0.13），确认它们捕获的是真正独立的原创性方面。这表明，在 AI 时代，写作评估必须从质量转向原创性。
引用
@article{arxiv.2602.01560,
title = {Argument Rarity-based Originality Assessment for AI-Assisted Writing},
author = {Keito Inoshita and Michiaki Omura and Tsukasa Yamanaka and Go Maeda and Kentaro Tsuji},
journal= {arXiv preprint arXiv:2602.01560},
year = {2026}
}