使用结构化叙事提示的 GPT-4 生成生活事件叙事:一项验证研究
计算与语言
2024-07-15 v2 人工智能
机器学习
摘要
大型语言模型 (LLM) 在生成大量叙事方面发挥着关键作用,这有助于系统性地探索其以叙事形式传达生活事件的有效性。在本研究中,我们采用零样本结构化叙事提示,使用 OpenAI 的 GPT-4 生成了 24,000 个叙事。从该数据集中,我们手动分类了 2,880 个叙事,并评估了它们在传达出生、死亡、雇佣和解雇事件方面的有效性。值得注意的是,87.43% 的叙事充分传达了结构化提示的意图。为了自动识别有效和无效的叙事,我们在已分类的数据集上训练并验证了九个机器学习模型。利用这些模型,我们扩展了分析范围,以预测剩余 21,120 个叙事的分类。所有机器学习模型都擅长将有效叙事分类为有效,但在同时将无效叙事分类为无效方面遇到了挑战。我们的发现不仅推进了对 LLM 能力、局限性和有效性的研究,还为叙事生成和自然语言处理应用提供了实践见解。
引用
@article{arxiv.2402.05435,
title = {GPT-4 Generated Narratives of Life Events using a Structured Narrative Prompt: A Validation Study},
author = {Christopher J. Lynch and Erik Jensen and Madison H. Munro and Virginia Zamponi and Joseph Martinez and Kevin O'Brien and Brandon Feldhaus and Katherine Smith and Ann Marie Reinhold and Ross Gore},
journal= {arXiv preprint arXiv:2402.05435},
year = {2024}
}
备注
29 pages, 24 figures