中文

语言回收的追索机制:与生成式语言模型的对话

人机交互 2024-04-23 v2 计算与语言 计算机与社会

摘要

在客户服务、信息检索和内容生成等场景中,研究人员和开发者越来越依赖毒性评分来审核生成式语言模型的输出。然而,毒性评分可能会使相关信息变得不可访问,使文化规范变得僵化或“价值锁定”,并阻碍语言回收过程,特别是对于边缘化群体而言。在这项工作中,我们将算法追索的概念扩展到生成式语言模型:我们为用户提供了一种新颖的机制,通过动态设置毒性过滤的阈值来实现其期望的预测。因此,与与基线系统的交互相比,用户行使了更多的能动性。一项初步研究 (n=30n = 30) 支持了我们提出的追索机制的潜力,表明与模型输出的固定阈值毒性过滤相比,可用性有所提高。未来的工作应探索毒性评分、模型可控性、用户能动性和语言回收过程之间的交叉点——特别是关于许多群体在与生成式语言模型交互时遇到的偏见。

关键词

引用

@article{arxiv.2403.14467,
  title  = {Recourse for reclamation: Chatting with generative language models},
  author = {Jennifer Chien and Kevin R. McKee and Jackie Kay and William Isaac},
  journal= {arXiv preprint arXiv:2403.14467},
  year   = {2024}
}

备注

Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (CHI EA 2024)