（一维）有序令牌赋能高效测试时搜索

令牌化是自回归（AR）生成模型的关键组成部分，它将原始数据转换为更易于建模的单元。通常，令牌描述局部信息，例如图像中的像素区域或文本中的词片，而 AR 生成则按固定顺序预测这些令牌。一个值得探讨的问题是，令牌结构是否会影响通过测试时搜索来引导生成的能力，其中多个候选生成序列被探索并由验证器评估。以图像生成为测试平台，我们假设近期具有由粗到细结构的一维有序令牌化器可能比经典的二维网格结构更易于搜索。这源于由粗到细序列中的中间状态携带了验证器可以可靠评估的语义信息，从而能够在生成过程中进行有效引导。通过对照实验，我们发现与基于网格的对应模型相比，在由粗到细的有序令牌上训练的自回归模型展现出更优的测试时扩展行为。此外，我们证明，得益于有序结构，在图像-文本验证器的引导下，对令牌序列进行纯粹的测试时搜索（即无需训练自回归模型）即可实现无需训练的文本到图像生成。除此之外，我们系统地研究了经典搜索算法（best-of-N、束搜索、前瞻搜索）如何与不同的令牌结构相互作用，以及不同验证器和自回归先验的作用。我们的结果突显了令牌结构对推理时扩展性的影响，并为自回归模型中的测试时扩展提供了实践指导。