笔记本中的数据泄漏：静态检测与更优流程
软件工程
2022-09-08 v1
摘要
用于训练和评估机器学习模型的数据科学流水线可能像其他任何代码一样包含错误。训练数据与测试数据之间的泄漏会导致在离线评估时高估模型的准确率，从而可能将低质量模型部署到生产环境中。此类泄漏可能因失误或遵循不良实践而轻易发生，但手动检测可能繁琐且具挑战性。我们开发了一种静态分析方法来检测数据科学代码中常见的数据泄漏形式。我们的评估表明，我们的分析能准确检测数据泄漏，并且这种泄漏在超过 100,000 个被分析的公开笔记本中普遍存在。我们讨论了我们的静态分析方法如何帮助从业者和教育者，以及如何将泄漏预防设计到开发流程中。
引用
@article{arxiv.2209.03345,
title = {Data Leakage in Notebooks: Static Detection and Better Processes},
author = {Chenyang Yang and Rachel A Brower-Sinning and Grace A. Lewis and Christian Kästner},
journal= {arXiv preprint arXiv:2209.03345},
year = {2022}
}