ChatGPT与Bard对极化性问题的回应
计算与语言
2023-07-25 v1
摘要
自然语言处理的最新进展已展示大语言模型(LLM)改善一系列教育与学习成果的潜力。在近期基于LLM的聊天机器人中,ChatGPT与Bard已明确表明人工智能(AI)技术将对信息获取与搜索方式产生重大影响。然而,这些工具有时会生成令人信服但常不正确的文本,即所谓的幻觉。因此,其使用可能扭曲科学事实并传播错误信息。为应对这些工具上的极化性回应,提供此类回应的概览至关重要,以使利益相关者能确定哪些主题倾向于产生更具争议性的回应——这是制定针对性监管政策与干预措施的关键。此外,目前尚不存在围绕可能极化性主题的ChatGPT与Bard回应标注数据集,而该数据集对上述目标至关重要。我们通过以下贡献解决所指出的问题:聚焦美国高度极化性主题,我们创建并描述了一个ChatGPT与Bard回应数据集。宽泛地说,我们的结果表明ChatGPT与Bard均存在左倾偏见,且Bard更可能围绕极化性主题提供回应。Bard似乎对争议性主题设有较少防护栏,并显得更愿意提供全面且略具人类风格的回应。因此Bard可能更易被恶意行为者滥用。利益相关者可利用我们的发现来减缓LLM产生的误导性及/或极化性回应。
引用
@article{arxiv.2307.12402,
title = {ChatGPT and Bard Responses to Polarizing Questions},
author = {Abhay Goyal and Muhammad Siddique and Nimay Parekh and Zach Schwitzky and Clara Broekaert and Connor Michelotti and Allie Wong and Lam Yin Cheung and Robin O Hanlon and Lam Yin Cheung and Munmun De Choudhury and Roy Ka-Wei Lee and Navin Kumar},
journal= {arXiv preprint arXiv:2307.12402},
year = {2023}
}