中文

LLM时代的AI透明度:以人为中心的研究路线图

人机交互 2023-08-09 v2 人工智能 计算机与社会

摘要

强大的大语言模型(LLMs)的兴起带来了巨大的创新机遇,也给个人和整个社会带来了迫近的风险。我们已到达一个关键节点,以确保LLM及注入LLM的应用被负责任地开发与部署。然而,负责任AI的一个核心支柱——透明度——在当下围绕LLM的讨论中大体缺失。追求新方法以为LLM提供透明度至关重要,而AI与人机交互(HCI)交叉领域多年的研究强调,我们必须以人为中心的视角来这样做:透明度从根本上说是为了支持恰当的人类理解,而这种理解是由不同情境下怀有不同目标的不同利益相关者所寻求的。在LLM的这一新时代,我们必须通过考虑新兴LLM生态系统中利益相关者的需求、正在构建的新型注入LLM的应用,以及围绕LLM的新使用模式与挑战,来开发与设计透明度方法,同时立足于关于人们如何处理、交互和利用信息的既有经验。我们反思了为LLM提供透明度所出现的独特挑战,以及从以人为中心视角研究AI透明度的HCI与负责任AI研究中获得的经验。随后,我们梳理出社区为实现透明度所采取的四种常见方法——模型报告、发布评估结果、提供解释以及传达不确定性——并指出这些方法可能或不可能应用于LLM的开放问题。我们希望这能为讨论提供起点,并为未来研究提供有用的路线图。

关键词

引用

@article{arxiv.2306.01941,
  title  = {AI Transparency in the Age of LLMs: A Human-Centered Research Roadmap},
  author = {Q. Vera Liao and Jennifer Wortman Vaughan},
  journal= {arXiv preprint arXiv:2306.01941},
  year   = {2023}
}