我的模型不公平，人们真的在意吗？视觉设计影响机器学习中的信任与感知偏差
人机交互
2024-01-12 v1
摘要
机器学习技术已无处不在，但不幸的是，其常常表现出偏差。因此，不同的利益相关者需要在日常系统中与机器学习模型交互，并就使用这些模型做出明智决策。可视化技术可支持利益相关者理解并评估模型准确性与公平性之间的权衡。本文旨在实证回答“可视化设计选择能否影响利益相关者对模型偏差的感知、对模型的信任以及采用模型的意愿？”通过一系列有超过1500名参与者参与的受控众包实验，我们识别出人们在决定信任哪些模型时所遵循的一组策略。我们的结果表明，男性和女性在公平性及性能上的优先级不同，且视觉设计选择显著影响了该优先级。例如，女性比男性更常信任更公平的模型，参与者在通过文本而非条形图解释公平时更看重公平性，并且明确告知模型有偏差比展示过去的偏差表现影响更大。我们通过比较多种文本与视觉设计选择的效果来检验结果的泛化性，并对公平感知与信任差异背后的认知机制给出了潜在解释。我们的研究为指导未来开发机器学习可视化系统的设计考量提供支持。
引用
@article{arxiv.2308.03299,
title = {My Model is Unfair, Do People Even Care? Visual Design Affects Trust and Perceived Bias in Machine Learning},
author = {Aimen Gaba and Zhanna Kaufman and Jason Chueng and Marie Shvakel and Kyle Wm. Hall and Yuriy Brun and Cindy Xiong Bearfield},
journal= {arXiv preprint arXiv:2308.03299},
year = {2024}
}
备注
11 pages, 6 figures, to appear in IEEE Transactions of Visualization and Computer Graphics (Also in proceedings of IEEE VIS 2023)