数据管道质量：影响因素、数据相关问题的根源及开发者面临的处理问题领域

数据管道是各种现代数据驱动系统的组成部分。然而，尽管十分重要，它们往往不可靠且提供低质量的数据。改善这一状况的关键步骤是扎实理解影响数据管道质量的各个方面。因此，本文首先提出了一个包含 41 个影响因素的分类法，这些因素影响数据管道提供质量数据的能力。该分类法基于多声文献综述，并通过与数据工程领域专家的八次访谈进行了验证。数据、基础设施、生命周期管理、开发与部署以及处理被发现是主要的影响主题。其次，我们通过挖掘 GitHub 项目和 Stack Overflow 帖子，调查了数据相关问题的根源、其在数据管道中的位置，以及开发者面临的数据管道处理问题的主要主题。我们发现数据相关问题主要由不正确的数据类型引起（33%），主要发生在管道的数据清洗阶段（35%）。数据集成和摄取任务被发现是开发者提问最多的主题，占所有问题的近一半（47%）。除对应于通常的数据管道处理领域（即数据加载、摄取、集成、清洗和转换）的问题外，兼容性问题被发现是一个独立的问题领域。这些发现表明，未来的研究工作应更深入地分析兼容性和数据类型问题，并协助开发者进行数据集成和摄取任务。所提出的分类法对于质量保证活动中的从业者具有价值，并促进了未来对数据管道质量的研究。