Edit Flows：基于编辑操作的流匹配
机器学习
2025-11-13 v3 人工智能
摘要
自回归生成模型自然地生成可变长度序列，而非自回归模型则难以处理，往往强制施加严格的、逐标记的结构。我们提出 Edit Flows，一种非自回归模型，通过定义基于编辑操作（插入、删除和替换）的序列离散流来克服这些限制。通过在序列空间上的连续时间马尔可夫链中建模这些操作，Edit Flows 实现了灵活的、位置相关的生成，更贴合序列数据的结构。我们的训练方法利用扩展的状态空间和辅助变量，使学习过程高效且可处理。实验结果表明，Edit Flows 在图像描述生成上优于自回归模型和掩码模型，在文本和代码生成中显著优于掩码构造方法。
引用
@article{arxiv.2506.09018,
title = {Edit Flows: Flow Matching with Edit Operations},
author = {Marton Havasi and Brian Karrer and Itai Gat and Ricky T. Q. Chen},
journal= {arXiv preprint arXiv:2506.09018},
year = {2025}
}