Smallset 时间线:一种数据预处理决策的可视化表示
人机交互
2022-06-13 v1
摘要
数据预处理是数据分析流程中的关键环节,既有技术层面也有社会层面的考量。然而,在研究实践与成果传播中,它往往得不到应有的关注。我们提出 Smallset 时间线,一种用于反思和交流数据预处理决策的可视化方法。“Smallset”是从原始数据集中选取的少量行,包含数据变更的实例。该时间线由代表预处理阶段不同时间点的 Smallset 快照以及描述各时间点所可视化变更的说明文字组成。对数据集的编辑、添加和删除以颜色高亮显示。我们开发了 R 软件包 smallsets,可从 R 和 Python 数据预处理脚本生成 Smallset 时间线。构建该图要求从业者反思并在必要时修订决策,而分享它旨在使不同受众群体都能理解该过程。我们给出两个案例研究来说明 Smallset 时间线在可视化预处理决策中的使用。案例研究包括软件缺陷数据和收入调查基准数据,其中预处理分别影响了预测任务中的数据丢失程度和群体公平性。我们设想 Smallset 时间线成为一种常用的数据溯源工具,从而在大规模范围内更好地记录和交流预处理任务。
引用
@article{arxiv.2206.04875,
title = {Smallset Timelines: A Visual Representation of Data Preprocessing Decisions},
author = {Lydia R. Lucchesi and Petra M. Kuhnert and Jenny L. Davis and Lexing Xie},
journal= {arXiv preprint arXiv:2206.04875},
year = {2022}
}
备注
In 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT '22), June 21-24, 2022, Seoul, Republic of Korea