GPT-4 能否支持需要高度专业领域专长的文本数据分析任务？
计算与语言
2023-10-05 v1
摘要
我们评估了生成式预训练 Transformer (GPT-4) 在需要高度专业领域专长的文本数据分析任务中的能力。具体而言，我们聚焦于分析法院意见以解释法律概念的任务。我们发现，在给定标注指南提示的情况下，GPT-4 的表现与训练有素的法律学生标注者相当。我们观察到，尽管性能有相对较小下降，GPT-4 可进行批量预测，从而显著降低成本。然而，采用思维链提示并未在此任务上带来明显改进。此外，我们展示了如何分析 GPT-4 的预测以识别并缓解标注指南中的缺陷，进而提升模型性能。最后，我们观察到该模型相当脆弱，因为提示中微小的格式相关改动对预测有很高影响。这些发现可被从事需要高度专业领域专长任务中文本语义/语用标注的研究人员和从业者所利用。
引用
@article{arxiv.2306.13906,
title = {Can GPT-4 Support Analysis of Textual Data in Tasks Requiring Highly Specialized Domain Expertise?},
author = {Jaromir Savelka and Kevin D. Ashley and Morgan A Gray and Hannes Westermann and Huihui Xu},
journal= {arXiv preprint arXiv:2306.13906},
year = {2023}
}