通过推理时 Stiefel 激活引导探索多样化生成路径

语言模型常因依赖狭窄的高概率输出集合，导致生成路径单一且易出现模式崩溃。基于采样的策略虽注入随机性，但仍难以保证多次并发生成运行之间的多样性。我们通过引入 STARS（Stiefel 基的激活引导用于多样化生成）来解决此限制，这是一种无训练的、推理时的干预方法，将激活引导转化为探索引擎。在每个标记上，STARS 收集并发生成运行的隐藏激活，并在 Stiefel 流形上联合优化多个加法引导方向。STARS 在被引导的激活上最大化几何体积，而 Stiefel 流形则诱导出引导干预的正交性。该公式显式促进并发生成运行的激活向量发生异化，间接促进生成轨迹的异化。这种流形优化 formulation 可通过具有收敛保证的 Riemannian 梯度下降算法求解，但该算法对实时推理过于耗时。为保证低延迟，我们进一步设计了带有激进闭式步长的轻量级单步更新。对于测试用例生成和科学发现基准，STARS 始终优于标准采样方法，在不牺牲定性质性能的前提下实现更高的多样性。