SOCIALITE-LLAMA：面向社会科学任务的指令微调模型
计算与语言
2024-03-15 v2
摘要
社会科学 NLP 任务，如情感或幽默检测，需要从文本中捕获语义以及隐含语用，而通常可用的训练数据量有限。指令微调已被证明能够提升大语言模型（LLMs）的诸多能力，如常识推理、阅读理解和计算机编程。然而，关于指令微调在通常需要捕获隐含语用线索的社会领域中的有效性，人们知之甚少。我们探索了将指令微调用于社会科学 NLP 任务，并引入了 Socialite-Llama——一个开源的、经过指令微调的 Llama。在包含 20 项社会科学任务的套件上，Socialite-Llama 提升了 Llama 的性能，并在其中大多数任务上达到或超越了 SOTA 多任务微调模型的性能。此外，与 Llama 相比，Socialite-Llama 在 6 项相关社会任务中的 5 项上也取得了提升，表明指令微调可以带来泛化的社会理解能力。所有资源（包括我们的代码、模型和数据集）可在 bit.ly/socialitellama 获取。
引用
@article{arxiv.2402.01980,
title = {SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks},
author = {Gourab Dey and Adithya V Ganesan and Yash Kumar Lal and Manal Shah and Shreyashee Sinha and Matthew Matero and Salvatore Giorgi and Vivek Kulkarni and H. Andrew Schwartz},
journal= {arXiv preprint arXiv:2402.01980},
year = {2024}
}
备注
Short paper accepted to EACL 2024. 4 pgs, 2 tables