发展价值感知型聊天机器人审计框架的必要性

ChatGPT于2022年11月问世标志着AI新时代的到来,使众多生成式AI工具面向大众使用。ChatGPT及其他类似聊天机器人拥有从解答学生作业到创作音乐和艺术品的广泛能力。鉴于聊天机器人依赖大量人类数据而构建,它们不可避免地会继承人类的错误和偏见。这些偏见可能对不同亚群体造成显著伤害或加剧不平等。由于聊天机器人缺乏对社会价值的内在理解,它们可能生成与既定规范相违背的新内容。令人关注的生成内容包括儿童色情、不准确的事实和歧视性言论。在本位论文中,我们认为,由于该技术的发展速度需要我们作为计算机和数据科学家,需要动员并开发一个基于价值的审计框架,其中包含社区制定的标准度量集合,用于监控不同聊天机器人和大型语言模型(LLMs)的健康状况。为支持我们的论点,我们使用简单的审计模板分享我们进行的基本审计结果,这些审计侧重于衡量搜索引擎式任务、代码生成和故事生成中潜在偏见的程度。我们确定了GPT 3.5和GPT 4的响应,这些响应既符合又不符合从现有法律中派生的价值观。尽管这些发现并不意外，却仍凸显了开发健壮审计框架以一致方式共享结果的紧迫性,以便学术界、政府部门和公司在我们的价值观未得到遵守时能够开发出缓解策略。我们本文以建议 ways for improving the technologies。