CLX：面向可验证的示例编程数据转换
数据库
2019-08-14 v4
摘要
对从现实世界收集的数据进行有效的数据分析，通常始于一个声名狼藉的高代价预处理步骤——数据转换与整理。示例编程（PBE）系统已被提出，利用用户作为提示提供的简单示例来自动推断转换规则。然而，一个重要的可用性问题——验证——限制了此类 PBE 数据转换系统的有效使用，因为验证过程往往费力且不可靠。我们提出了一种数据转换范式设计 CLX（发音为“clicks”），侧重于在类 PBE 的数据转换中便利终端用户的验证。CLX 在输入与输出数据中均执行模式聚类，使用户能够在模式层面而非数据实例层面进行验证，而无需编写任何正则表达式，从而显著减少用户验证负担。此后，CLX 自动生成作为正则表达式替换操作的转换程序，易于普通用户验证。我们通过实验将 CLX 原型与最先进的 PBE 数据转换工具 FlashFill 以及支持交互式数据转换的有影响力系统 Trifacta 进行比较。结果表明，在节省用户验证负担方面优于现有最优工具，且不损失效率或表达力。在针对不同规模数据集的用户负担研究中，当数据规模增长 30 倍时，CLX 原型所需的用户验证时间增长 1.3 倍，而 FlashFill 所需增长 11.4 倍。在另一项评估用户对转换逻辑理解（有效验证的关键要素）的测试中，CLX 用户的成功率达到 FlashFill 用户的两倍左右。
引用
@article{arxiv.1803.00701,
title = {CLX: Towards verifiable PBE data transformation},
author = {Zhongjun Jin and Michael Cafarella and H. V. Jagadish and Sean Kandel and Michael Minar and Joseph M. Hellerstein},
journal= {arXiv preprint arXiv:1803.00701},
year = {2019}
}
备注
16 pages