研究具有动态停止机制的循环 Transformer
机器学习
2025-01-22 v4 人工智能
神经与进化计算
摘要
在本文中，我们全面研究了为 Transformer 增加循环机制的两种主要方法的归纳偏置：(1) 引入类似于 Universal Transformers 的深度方向循环；(2) 引入类似于 Temporal Latent Bottleneck 的分块时间循环。此外，我们提出并研究了扩展和组合上述方法的新途径——例如，我们为 Universal Transformers 提出了一种基于全局均值的动态停止机制，并用来自 Universal Transformer 的元素增强了 Temporal Latent Bottleneck。我们在多个诊断任务中比较了这些模型并探测其归纳偏置，包括 Long Range Arena (LRA)、flip-flop 语言建模、ListOps 和逻辑推理。代码已发布在：https://github.com/JRC1995/InvestigatingRecurrentTransformers/tree/main
引用
@article{arxiv.2402.00976,
title = {Investigating Recurrent Transformers with Dynamic Halt},
author = {Jishnu Ray Chowdhury and Cornelia Caragea},
journal= {arXiv preprint arXiv:2402.00976},
year = {2025}
}