中文

正确且最优:正则表达式推断挑战

机器学习 2024-05-13 v2 计算与语言 形式语言与自动机理论

摘要

我们提出正则表达式推断(REI)作为代码/语言建模以及更广泛的机器学习社区的一项挑战。REI是一项监督机器学习(ML)与程序优化任务,其问题在于从样本中找出最小正则表达式:给定两个有限字符串集合 PPNN 以及一个代价函数 cost()cost(\cdot),任务是生成一个表达式 rr,它接受 PP 中的所有字符串并拒绝 NN 中的所有字符串,且不存在其他这样的表达式 rr' 满足 cost(r)<cost(r)cost(r')<cost(r)。REI作为挑战问题具有若干优势:(i) 正则表达式广为人知、被广泛使用,并且是代码的一种自然理想化;(ii) REI的渐近最坏情况复杂度已被充分理解;(iii) REI具有少量易于理解的参数(例如 PPNN 的基数、样本的字符串长度或代价函数),这使我们可以轻松微调REI的难度;(iv) REI强调优化,是基于深度学习的ML尚未解决的问题。最近,一个REI求解器利用程序合成技术在GPU上实现,首次实现了针对复杂REI实例的快速最小正则表达式生成。基于这一进展,我们生成并发布了首个大规模REI数据集,并设计并评估了若干初步的启发式与机器学习基线。我们邀请社区参与并探索学会求解REI问题的ML方法。我们相信,REI上的进展将直接转化为代码/语言建模上的进展。

关键词

引用

@article{arxiv.2308.07899,
  title  = {Correct and Optimal: the Regular Expression Inference Challenge},
  author = {Mojtaba Valizadeh and Philip John Gorinski and Ignacio Iacobacci and Martin Berger},
  journal= {arXiv preprint arXiv:2308.07899},
  year   = {2024}
}

备注

accepted to IJCAI 2024; 7 pages with 2 tables, 5 pages appendix with 3 tables, 1 figure