自动、无监督且自参数化的数据模式推断与异常检测

随着数据导向和机器学习(ML)系统的兴起，数据质量正在起到日益关键的作用，以确保软件系统整体质量。数据准备作为实现高数据质量的关键步骤，已知是 highly effort-intensive 的过程。虽然先前的研究处理了最具影响力的问题之一——数据模式违规——但这些研究通常需要数据特定的配置(即参数化)或使用精心策划的数据作为学习示例(即监督)，这依赖于对数据的深入理解，或需要大量的手动工作。在本文中，我们介绍了 RIOLU：Regex Inferencer auto-parameterized Learning with Uncleaned data。RIOLU 完全自动化、自动参数化，且不需要标记样本。RIOLU 可以从 various domains 中的数据集生成精确模式，F1 分数高达 97.2%，超过国际前沿基准。在此基础上，根据我们对五个带有异常数据集的实验，RIOLU 能够自动估计数据列的错误率，绘制正常模式，并从无标签数据中预测异常，性能显著优于国际前沿基准（就 F1 分数提升最高可达 800.4%），在准确率(12.3% 更高的 F1)和效率(10% 更少的推理时间)方面均超过 ChatGPT。我们方法的一个变体在获得用户指导后，可进一步提升其精度，F1 分数提升最高可达 37.4%。我们在工业环境下的评估进一步证明了 RIOLU 的实际效益。