Akpans 是恶作剧还是款待:揭示助手系统中的有益偏见
计算与语言
2025-03-04 v4 人工智能
摘要
信息检索型 AI 助手系统旨在及时回答用户关于知识的问题。然而,信息检索型助手系统在人类感知的有用性及其公平性影响方面尚待充分探索。在本文中,我们研究有用性的计算度量。我们收集了关于对话回复有用性的人类标注,开发了自动有用性评估模型,进而提出利用对话系统对不同用户查询的有用性水平来衡量对话系统的公平性。在三种信息检索场景下,使用包括 ChatGPT 在内的先进对话系统进行的实验表明,现有系统对于来自高度发达国家概念的问题往往比来自欠发达国家概念的问题更有帮助,揭示了当前信息检索型助手系统潜在的公平性担忧。
引用
@article{arxiv.2205.12554,
title = {Are Akpans Trick or Treat: Unveiling Helpful Biases in Assistant Systems},
author = {Jiao Sun and Yu Hou and Jiin Kim and Nanyun Peng},
journal= {arXiv preprint arXiv:2205.12554},
year = {2025}
}
备注
This manuscript, completed in early 2023, presents a project that began in 2021. We hope to share our understanding of helpfulness in dialogue systems at that time