巴西公共学校普查数据库模式演化中的列匹配统计验证
数据库
2024-07-16 v1
摘要
公开数据集可能包含新版本，每个新版本可能反映数据变更。这些变更可能涉及添加或删除属性、更改数据类型以及修改值或其语义。将这些数据集整合到数据库中提出了一个重大挑战：如何在纳入不同数据源版本的同时跟踪演变中的数据库模式？本文提出了一种统计方法，用于验证巴西学校普查中 12 年开放数据集的集成，该数据集由巴西教育部 (MEC) 每年发布新版本的数据。我们采用各种统计检验来查找特定年份数据集中属性与其后续年份数据集中潜在等效属性之间的匹配。结果表明，通过使用Kolmogorov-Smirnov 检验，我们可成功地约 90% 地匹配来自不同数据集版本的列。
引用
@article{arxiv.2407.09885,
title = {Statistical Validation of Column Matching in the Database Schema Evolution of the Brazilian Public School Census},
author = {Muriki G. Yamanaka and Diogo H. de Almeida and Paulo R. Lisboa de Almeida and Simone Dominico and Leticia M. Peres and Marcos S. Sunye and Eduardo C. de Almeida},
journal= {arXiv preprint arXiv:2407.09885},
year = {2024}
}
备注
Accepted for presentation at the Simposio Brasileiro de Bancos de Dados (SBBD) 2024