以 ChatGPT 替代意图分类中复述句的众包采集:更高多样性与相当的模型鲁棒性
计算与语言
2023-10-23 v2
摘要
生成式大语言模型(LLMs)的出现引发了一个问题:其对众包有何影响?传统上,众包被用于获取各类人类智能任务的解决方案,包括涉及文本生成、修改或评估的任务。对于其中部分任务,诸如 ChatGPT 之类的模型有可能替代人类工作者。在本研究中,我们考察对于意图分类的复述生成任务是否如此。我们采用已有众包研究的数据采集方法(相似规模、提示与种子数据),使用 ChatGPT 和 Falcon-40B 进行采集。我们表明,ChatGPT 生成的复述更具多样性,且至少带来同样鲁棒的模型。
引用
@article{arxiv.2305.12947,
title = {ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness},
author = {Jan Cegin and Jakub Simko and Peter Brusilovsky},
journal= {arXiv preprint arXiv:2305.12947},
year = {2023}
}
备注
Long paper accepted to EMNLP 2023 conference main track, 17 pages, 9 figures