TACOMORE：通过提示工程利用大语言模型在基于语料的语篇分析中的潜力
计算与语言
2024-12-16 v1
摘要
大语言模型进行自动化定性分析的能力受到了语料库语言学家的质疑，且已有观点认为，将大语言模型融入基于语料的语篇分析受到性能不佳、产生幻觉和不可复现等问题的制约。我们提出的方法 TACOMORE 旨在通过为该领域提供一个有效的提示框架来解决这些问题。该框架包含四项原则，即任务（Task）、语境（Context）、模型（Model）和可复现性（Reproducibility），并规定了一个优质提示的五个基本要素，即角色描述（Role Description）、任务定义（Task Definition）、任务流程（Task Procedures）、语境信息（Contextual Information）和输出格式（Output Format）。我们在三款大语言模型上进行了实验，即 GPT-4o、Gemini-1.5-Pro 和 Gemini-1.5.Flash，发现 TACOMORE 有助于提升大语言模型在三项代表性语篇分析任务上的表现，即基于一个开放的新冠肺炎研究文章语料库对关键词、搭配词和 concordances 的分析。我们的结果表明，所提出的提示框架 TACOMORE 在基于语料的语篇分析中，在准确性（Accuracy）、伦理性（Ethicality）、推理能力（Reasoning）和可复现性（Reproducibility）方面具有显著效果，并为大型语言模型在自动化定性研究中的应用与评估提供了新的见解。
引用
@article{arxiv.2412.10139,
title = {TACOMORE: Leveraging the Potential of LLMs in Corpus-based Discourse Analysis with Prompt Engineering},
author = {Bingru Li and Han Wang},
journal= {arXiv preprint arXiv:2412.10139},
year = {2024}
}