AI数据准备检查员（AIDRIN）用于AI数据准备的定量评估

“垃圾进，垃圾出”是来自计算机科学各领域的人工智能（AI）研究者所共识的观点。由于数据是AI的燃料，基于低质量、偏差数据训练的模型往往效果不佳。使用AI的计算机科学家在为AI准备数据方面投入了大量时间和精力。然而，目前缺乏评估数据是否“准备好”用于AI的标准方法或框架。为提供数据准备就绪性的可量化评估，我们定义了AI数据准备参数，并引入AIDRIN（AI Data Readiness Inspector）。AIDRIN涵盖了文献中可获得的广泛范围的准备维度，旨在帮助定性和定量地评估数据准备就绪性。AIDRIN使用传统数据质量评估中的指标，如完整性、异常值和重复项，用于数据评估。此外，AIDRIN使用专门评估AI数据的数据指标，如特征重要性、特征相关性、类别不平衡、公平性、隐私以及FAIR（可发现性、可访问性、可互操作性和可重用性）原则合规性。AIDRIN提供可视化和报告，帮助数据科学家进一步调查数据准备就绪性。该AIDRIN框架提高了机器学习管道的效率，使其能够就数据准备就绪性做出明智决策。