探索ChatGPT的内容排序能力：与人工偏好一致性的初步研究
计算与语言
2023-03-15 v1
摘要
作为自然语言助手，ChatGPT能够执行多种任务，包括但不限于文章生成、代码补全与数据分析。此外，ChatGPT在内容评估方面持续展现出显著的准确性与可靠性，表现出模仿人类偏好的能力。为进一步探索ChatGPT在此方面的潜力，本研究对其内容排序能力进行评估。为此，构建了一个由提示组成的测试集，涵盖广泛用例，并利用五个模型生成相应回复。随后指示ChatGPT对这些模型生成的回复进行排序。测试集上的结果表明，ChatGPT的排序偏好在一定程度上与人类一致。这一初步实验发现意味着，ChatGPT的零样本排序能力可用于减轻多项排序任务中的标注压力。
引用
@article{arxiv.2303.07610,
title = {Exploring ChatGPT's Ability to Rank Content: A Preliminary Study on Consistency with Human Preferences},
author = {Yunjie Ji and Yan Gong and Yiping Peng and Chao Ni and Peiyan Sun and Dongyu Pan and Baochang Ma and Xiangang Li},
journal= {arXiv preprint arXiv:2303.07610},
year = {2023}
}