面向增强推理的中间 Transformer 表示消失的 Seq-VCR 方法
机器学习
2025-03-21 v2 计算与语言
摘要
解码器-only Transformer 在复杂推理任务中表现不佳，尤其是需要多序列表达式运算的算术推理。在本工作中，我们识别到模型中间层表示消失是其推理能力受限的关键因素。为此，我们提出了顺序方差-协方差正则化 (Seq-VCR)，以增强中间表示的熵，防止消失。结合虚拟暂停标记作为链式思维 (CoT) 标记的替代品，我们的方法在算术推理问题中显著提升性能。在具有挑战性的 5×5 整数乘法任务中，我们的方法实现了 99.5% 的精确匹配准确率，超越了相同规模的模型（后者得分 0%）以及使用五 shot CoT 提示的 GPT-4（得分 44%）。我们还在算术表达式和最长递增子序列 (LIS) 数据集上展示了优异结果。我们的发现凸显了防止中间层表示消失对增强 Transformer 推理能力的重要性，表明 Seq-VCR 为无需显式 CoT 监督即可提供有效解决方案。
关键词
引用
@article{arxiv.2411.02344,
title = {Seq-VCR: Preventing Collapse in Intermediate Transformer Representations for Enhanced Reasoning},
author = {Md Rifat Arefin and Gopeshh Subbaraj and Nicolas Gontier and Yann LeCun and Irina Rish and Ravid Shwartz-Ziv and Christopher Pal},
journal= {arXiv preprint arXiv:2411.02344},
year = {2025}
}