使用提示编程与GPT-3生成带标签训练数据：以大五人格分类为例
人机交互
2023-03-23 v1 人工智能
摘要
我们利用GPT-3的提示编程生成了25000段标注大五人格特质（Big Five Personality traits）的对话。随后使用这些数据训练大五人格分类模型，并以生成的2500条对话数据和由人类标注者按大五人格标注的真实对话数据集进行评估。结果表明，该方法在创建有效训练数据方面具有前景。我们进而比较了不同训练方法与模型的性能。结果表明，使用Adapter-Transformers并从预训练的RoBERTa情感分析模型进行迁移学习，在生成数据上表现最佳。我们的最佳模型在生成数据中准确率为0.71，在真实数据集中为0.65。最后，我们讨论了该方法的潜在局限性与置信度度量。
引用
@article{arxiv.2303.12279,
title = {Generate labeled training data using Prompt Programming and GPT-3. An example of Big Five Personality Classification},
author = {Eason Chen},
journal= {arXiv preprint arXiv:2303.12279},
year = {2023}
}
备注
6 pages, pre-print