我们信任 ChatGPT 吗？度量与刻画 ChatGPT 的可靠性
密码学与安全
2023-10-06 v2 机器学习
摘要
随着 ChatGPT 的出现，用户获取信息的方式正经历范式转变。与传统搜索引擎不同，ChatGPT 从模型自身检索知识并为用户生成答案。ChatGPT 令人印象深刻的问答（QA）能力在短期内吸引了超过 1 亿用户，但也引发了对其可靠性的担忧。在本文中，我们对 ChatGPT 在通用 QA 场景下的可靠性进行了首次大规模度量，使用精心整理的跨越十个数据集与八个领域的 5,695 个问题集合。我们发现 ChatGPT 的可靠性在不同领域间存在差异，尤其在法律与科学问题上表现不佳。我们还证明，OpenAI 最初设计用于让用户引导 ChatGPT 行为的系统角色，能以不易察觉的方式影响 ChatGPT 的可靠性。我们进一步表明 ChatGPT 易受对抗样本攻击，甚至单个字符的改动在某些情形下也会对其可靠性产生负面影响。我们相信本研究为 ChatGPT 的可靠性提供了有价值的见解，并强调了加强大语言模型（LLM）可靠性与安全性的必要。
引用
@article{arxiv.2304.08979,
title = {In ChatGPT We Trust? Measuring and Characterizing the Reliability of ChatGPT},
author = {Xinyue Shen and Zeyuan Chen and Michael Backes and Yang Zhang},
journal= {arXiv preprint arXiv:2304.08979},
year = {2023}
}