过去仍然重要:时效有效的数据发现系统
数据库
2025-10-16 v1
摘要
过去十年,公共数据湖和企业数据湖的不断扩张推动了数据发现研究的深入,旨在从庞大且复杂的数据库中识别出最相关的数据,以支持多样化的用户任务。通过开发创新的索引结构、相似性度量和查询基础设施,取得了显著进展。尽管如此,一个关键方面仍被忽视:相关性是随时间变化的。现有发现方法很大程度上忽略了这一时间维度,尤其是在缺乏显式日期/时间元数据的情形下。为填补这一空白,我们阐述了一套包含时间维度的数据发现系统的愿景。具体而言,我们定义了时效有效的数据发现问题,并论证解决该问题需要版本发现、时序血缘推断、变更日志综合以及时态数据发现等技术。随后,我们提出系统架构以交付这些技术,并总结研究挑战与机遇。因此,我们为新一代数据发现系统奠定了基础,正变革我们与演进数据湖的交互方式。
引用
@article{arxiv.2510.13662,
title = {The Past Still Matters: A Temporally-Valid Data Discovery System},
author = {Mahdi Esmailoghli and Matthias Weidlich},
journal= {arXiv preprint arXiv:2510.13662},
year = {2025}
}