CaLMFlow：基于因果语言模型的Volterra 流匹配
机器学习
2024-10-10 v1 人工智能
定量方法
摘要
我们提出了 CaLMFlow（Causal Language Models for Flow Matching，因果语言模型用于流匹配），这是一种新框架，将流匹配建模为Volterra 积分方程（VIE），利用大型语言模型（LLM）进行连续数据生成。CaLMFlow 使能够直接将 LLM 应用于学习复杂流，通过将流匹配建模为序列建模任务，实现了离散语言建模与连续生成建模之间的桥接。我们的方法在空间和时间上实现了分词，从而在这些领域中求解 VIE。这种方法使得能够高效处理高维数据，并优于依赖 ODE 求解器的方法，如条件流匹配（CFM）。我们在合成数据和真实数据上展示了 CaLMFlow 的有效性，包括单细胞扰动响应预测，凸显其能够整合文本上下文并对未见情况进行泛化的能力。我们的结果凸显了 LLM 驱动的流匹配作为生成模型中有前景的范式，提供了更好的可扩展性、灵活性和上下文感知能力。
关键词
引用
@article{arxiv.2410.05292,
title = {CaLMFlow: Volterra Flow Matching using Causal Language Models},
author = {Sizhuang He and Daniel Levine and Ivan Vrkic and Marco Francesco Bressana and David Zhang and Syed Asad Rizvi and Yangtian Zhang and Emanuele Zappala and David van Dijk},
journal= {arXiv preprint arXiv:2410.05292},
year = {2024}
}
备注
10 pages, 9 figures, 7 tables