面向论点挖掘的上下文学习与GPT微调
计算与语言
2024-06-12 v1 机器学习
摘要
大型语言模型（LLMs）在自然语言处理和深度学习领域已变得无处不在。上下文学习（ICL）被认为是免训练和微调LLMs设置之间的桥梁范式。在ICL中，LLM通过将少量已解决的演示示例作为提示包含在内来被条件化以解决任务。论点挖掘（AM）旨在提取文本中复杂的论证结构，而论点类型分类（ATC）是AM的一个基本子任务。我们提出了一种结合k近邻示例选择和多数投票集成的ATC的ICL策略。在免训练的ICL设置中，我们展示了GPT-4能够仅从少量演示示例中利用相关信息，并在ATC上实现非常有竞争力的分类准确率。我们进一步建立了一种微调策略，该策略整合了以文本形式直接给出的精心设计的结构特征。在这种设置下，GPT-3.5在ATC上达到了最先进的性能。总体而言，这些结果强调了LLMs在现成和微调设置中从原始文本中把握全局话语流动的新兴能力。
引用
@article{arxiv.2406.06699,
title = {In-Context Learning and Fine-Tuning GPT for Argument Mining},
author = {Jérémie Cabessa and Hugo Hernault and Umer Mushtaq},
journal= {arXiv preprint arXiv:2406.06699},
year = {2024}
}