循环作为桥梁：循环变换器能否真正链接表示空间与自然语言输出？

大型语言模型 (LLM) 常常在其内部知识与显式语言输出之间存在鸿沟。本报告我们经验性地探讨了循环变换器 (LT)——通过迭代共享层来增加计算深度的体系结构——是否能够通过将其迭代本质用作内省来弥合这一鸿沟。我们的实验表明，增加循环迭代次数虽然可以缩小这一鸿沟，但这种收敛是部分由表示空间中携带的内部知识退化所致的。此外，另一项经验分析表明，当前 LT 的感知能力并未在循环中逐渐提升；它仅在最终的循环中才具有这种能力。这些结果表明，尽管循环变换器为增加计算深度提供了有前景的方向，但它们尚未实现真正连接表示空间与自然语言所必需的内省能力。