基于分析经验的人工数据质量评估与评价指标开发
人机交互
2025-04-04 v1
摘要
利用第三方数据所需的社会需求推动了数据分布市场的发展，增加了数据质量评估（DQA）在组织之间数据交易中的重要性。然而，DQA 需要对原始数据及相关数据属性具有专业知识，这会阻碍数据采购中的共识建立。本研究聚焦于经验丰富的数据处理人员与非经验丰富数据处理人员之间的 DQA 差异。我们进行了两项实验：第一项是对 41 名具有不同数据处理经验水平的参与者进行的问卷调查，他们使用 10 个预定义指标（带或不带由自动化工具生成的质量元数据）对 12 个数据样本进行评估。第二项是一次眼动实验，揭示了参与者在数据评估期间的观看行为。结果表明，使用由自动化工具生成的质量元数据可以减少 DQA 中的误认。虽然经验丰富的数据处理人员对质量元数据评价很高，但半经验用户给出了最低的评价。该研究通过提出一种自动化工具来支持 DQA，来增强组织内的数据理解并促进有价值数据的分布。
引用
@article{arxiv.2504.02663,
title = {Development of Automated Data Quality Assessment and Evaluation Indices by Analytical Experience},
author = {Yuka Haruki and Kei Kato and Yuki Enami and Hiroaki Takeuchi and Daiki Kazuno and Kotaro Yamada and Teruaki Hayashi},
journal= {arXiv preprint arXiv:2504.02663},
year = {2025}
}