跨越：通过 GFlowNets 泛化语言模型以适应动态跨度词汇
人工智能
2026-02-12 v1
摘要
标准自回归语言模型按词生成文本，词汇固定，导致状态空间呈树状结构，这限制了灵活性和可表达性。最近的工作引入动态词汇通过采样检索文本跨度，但忽略了同一句子可由不同长度的跨度组成，缺乏对有向无环图(DAG)状态空间的显式建模。这导致对成分路径的探索受限，偏向于选定路径。生成流网络(GFlowNets)擅长高效探索和泛化，尤其是DAG结构。然而，现有GFlowNets-based语言模型仅在词级别工作，仍局限于树状空间，限制了其潜力。本文提出Flow of SpanS(FOSS)，一种原则性的跨度生成GFlowNets框架。FOSS通过灵活分割检索文本实现动态跨度词汇，确保DAG结构状态空间，使GFlowNets能够探索多样化的成分路径并提升泛化能力。配合专门的奖励模型，FOSS生成多样且高质量的文本。实验表明，FOSS在文本生成上相较于Transformer提高了最高12.5%的MAUVE分数，在知识密集型任务上提升3.5%，始终超越最先进的方法。规模实验进一步表明，FOSS受益于更大的模型、更多数据和更丰富的检索语料库，仍保持对强大基线的优势。
引用
@article{arxiv.2602.10583,
title = {Flow of Spans: Generalizing Language Models to Dynamic Span-Vocabulary via GFlowNets},
author = {Bo Xue and Yunchong Song and Fanghao Shao and Xuekai Zhu and Lin Chen and Luoyi Fu and Xinbing Wang and Zhouhan Lin},
journal= {arXiv preprint arXiv:2602.10583},
year = {2026}
}
备注
Published as a conference paper at ICLR 2026