GeoBlock：扩散语言模型中基于依赖几何推断块粒度

块扩散使扩散语言模型中的高效并行精炼成为可能，但其解码行为严重依赖块大小。现有的块大小策略依赖固定规则或启发式信号，未考虑决定哪些 token 可以安全地一起精炼的依赖几何。这促使我们从几何角度看待扩散解码：具有强因果排序的区域需要顺序更新，而语义连贯的区域允许并行精炼。我们提出了 GeoBlock，一个基于几何感知的块推理框架，直接从注意力派生的依赖几何确定块粒度。GeoBlock 不依赖预定义调度或局部置信度启发式，而是分析跨 token 依赖模式以识别几何稳定的精炼区域，并在解码过程中动态确定适当的块边界。通过将块粒度适配到依赖几何，GeoBlock 在保持块扩散并行效率的同时强制执行依赖一致的精炼，展现出自回归可靠性。GeoBlock 无需额外训练，可无缝集成到现有的块扩散架构中。在多个基准上的广泛实验表明，GeoBlock 能够可靠地识别几何一致的块边界，并且仅以少量额外计算开销提升了块扩散的准确性。