政策本身可能不是解决方案:大规模实验探讨开发人员在设计有意义的面向终端用户解释方面的困境
人机交互
2026-01-19 v4 人工智能
机器学习
摘要
开发人员在决定机器学习系统解释方式中起着核心作用,然而他们很少接受面向非技术用户的解释设计培训。尽管如此,透明度和可解释性要求正日益体现在法规和组织政策中。仍不清楚此类政策如何影响开发人员的行为或他们所产生解释的质量。我们报告了两项受控实验的结果,共有194名参与者为典型开发人员( lack of specialized training in human-centered explainable AI),他们为一个基于机器学习的糖尿病视网膜病变筛查工具设计解释。在第一次实验中,政策目的和细节水平的差异几乎没有影响:政策指导常被忽视,解释质量仍然较低。在第二次实验中,更强的执行力度提高了正式合规性,但解释仍主要不适合医疗专业人员和患者。我们进一步观察到,在两项实验中,开发人员反复生成 technically flawed(技术性错误)或难以解释的解释,解释面向开发人员而非终端用户,依赖医学术语,或在临床决策情境和工作流程中不足,开发人员导向的表述方式尤为突出。这些发现表明,政策和政策执行本身不足以产生有意义的终端用户解释,负责任的AI框架可能高估了开发人员在没有额外培训、工具或实施支持的情况下,将高层要求转化为以人为中心的设计的能力。
引用
@article{arxiv.2503.15512,
title = {Policy alone is probably not the solution: A large-scale experiment on how developers struggle to design meaningful end-user explanations},
author = {Nadia Nahar and Zahra Abba Omar and Jacob Tjaden and Inès M. Gilles and Fikir Mekonnen and Erica Okeh and Jane Hsieh and Christian Kästner and Alka Menon},
journal= {arXiv preprint arXiv:2503.15512},
year = {2026}
}