解构 ChatGPT:对 AI 生成面向目标对话与标注的批判性分析
计算与语言
2023-05-25 v1 人工智能
摘要
大型预训练语言模型已展现出通过提示技术生成高质量文本的前所未有的能力。这一事实为数据收集和标注带来了新的可能性,尤其是在此类数据稀缺、收集复杂、昂贵甚至敏感的情况下。在本文中,我们探索这些模型生成和标注面向目标对话的潜力,并进行深入分析以评估其质量。我们的实验采用 ChatGPT,涵盖三类面向目标对话(任务导向、协作式和解释式)、两种生成模式(交互式和一次性)以及两种语言(英语和意大利语)。基于广泛的人为评估,我们证明所生成对话和标注的质量与人工生成的不相上下。
引用
@article{arxiv.2305.14556,
title = {Unraveling ChatGPT: A Critical Analysis of AI-Generated Goal-Oriented Dialogues and Annotations},
author = {Tiziano Labruna and Sofia Brenna and Andrea Zaninello and Bernardo Magnini},
journal= {arXiv preprint arXiv:2305.14556},
year = {2023}
}