ReGuLaR：由渲染链式思考引导的变分潜在推理
计算与语言
2026-02-02 v1
摘要
虽然链式思考（Chain-of-Thought，CoT）显著提升了大型语言模型（Large Language Models，LLMs）的性能，但显式推理链会引入巨大的计算冗余。近期的潜在推理方法试图通过压缩推理过程到潜在空间来缓解此问题，但常因缺乏适当的压缩指导而导致严重的性能下降。本文提出了渲染CoT引导的变分潜在推理（Renderable CoT-Guided variational Latent Reasoning，ReGuLaR），这是一种简单而新颖的潜在学习范式，旨在解决此问题。根本而言，我们在变分自编码器（Variational Auto-Encoding，VAE）框架内构建潜在推理，通过抽取受前一状态条件化的后验分布中抽取的当前潜在推理状态。具体而言，在学习这种变分潜在推理模型时，我们将显式推理链渲染为图像，从中提取稠密的视觉语义表示，以正则化后验分布，从而实现最小信息损失的高效压缩。广泛的实验表明，ReGuLaR 在计算效率和推理有效性方面均显著优于现有的潜在推理方法，甚至通过多模态推理超越了CoT，为潜在推理提供了一种新颖且富有洞察力的解决方案。代码：https://github.com/FanmengWang/ReGuLaR。
引用
@article{arxiv.2601.23184,
title = {ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought},
author = {Fanmeng Wang and Haotian Liu and Guojiang Zhao and Hongteng Xu and Zhifeng Gao},
journal= {arXiv preprint arXiv:2601.23184},
year = {2026}
}