GPT生成文本中知识的浅层综合：自动相关工作撰写的案例研究

大量AI辅助的学术应用已被开发出来，以支持研究过程的不同阶段。我们展示了对使用ScholaCite生成的AI辅助学术写作的分析，ScholaCite是我们构建的一个工具，旨在组织文献并为学术论文撰写“相关工作”部分。我们的评估方法侧重于分析引文图，以评估文本中引用的结构复杂性和相互关联性，并涉及三种文本之间的三向比较：（1）原始人类撰写的文本，（2）纯GPT生成的文本，以及（3）人机协作文本。我们发现，GPT-4可以生成合理的粗粒度引文分组，以支持人类用户进行头脑风暴，但在没有人类干预的情况下，无法对相关工作进行详细的综合。我们建议，未来的写作辅助工具不应独立于人类作者来起草文本。