高效的多未来标记联合预测

在本短报中，我们介绍了联合多标记预测（JTP），这是一种标准下一标记预测的轻量级修改，旨在通过联合预测多个未来标记来丰富隐藏状态表示。与以往的多标记预测方法不同，JTP战略性地通过精心设计的表示瓶颈进行未来标记教学强制，允许模型在训练期间以最小的计算开销编码丰富的预测信息。我们展示了JTP方法实现了短程信念状态表示，而流行的多标记预测备选方案未能做到这一点。我们在来自Bachmann和Nagarajan [2024] 的合成星形图导航任务上演示了该方法的有效性，突出了其对现有方法的显著性能提升。本手稿提出了旨在激发进一步研究的有前景的初步结果。