基于Flash-SemiCRF的流式结构化推理
机器学习
2026-04-22 v1
摘要
半马尔可夫条件随机场为序列中的片段而非单个位置分配标签，从而能够对片段级特征进行精确推理，并在其边界处提供原则性的不确定性估计。然而，现有的实现必须实例化一个大的边势张量，其大小随序列长度、最大片段长度和标签数量增长，这对于语音规模的状态空间来说变得难以承受，并且在基因组规模（序列可能超过100,000个位置）下变得棘手。这个内存瓶颈限制了精确片段级推理在长序列和大标签集上的应用。我们发现核心低效在于实例化边势，而这些边势可以从一个紧凑的前缀和数组中即时计算出来，并进行了多项改进。首先，用前缀和查找替换存储的边张量，将内存占用减少一个与片段长度和标签数量乘积成正比的因子。其次，一个带有检查点边界归一化的流式前向-后向传递，使工作内存与序列长度呈次线性关系，同时保持精确梯度。第三，零中心累积分数控制数值漂移，并在标签不平衡下引入自适应持续时间先验。我们将这些思想整合到Flash-SemiCRF中，这是一个融合的Triton内核，能够在以前难以处理的问题规模上实现精确的半CRF推理。可在https://github.com/biobenkj/flash-semicrf获取。
引用
@article{arxiv.2604.18780,
title = {Streaming Structured Inference with Flash-SemiCRF},
author = {Benjamin K. Johnson and Thomas Goralski and Ayush Semwal and Hui Shen and H. Josh Jang},
journal= {arXiv preprint arXiv:2604.18780},
year = {2026}
}