Transformer 中的动态上下文适应与信息流控制：引入 Evaluator Adjuster Unit 与门控残差连接
机器学习
2025-04-22 v1 人工智能
摘要
Transformer 因其独特的建模数据中远程依赖关系的能力，在人工智能领域的各个方面取得了革命性的进展。然而，它们在细粒度、上下文依赖的特征调制和信息流控制方面存在不足。本文引入两个对 Transformer 架构进行重大增强的机制——Evaluator Adjuster Unit（EAU）和门控残差连接（GRC），旨在解决这些限制。EAU 根据输入上下文的相关性动态调制注意力输出，允许更具适应性的响应模式。同时，GRC 通过门控机制修改 Transformer 的残差连接，以选择性地控制信息流，从而增强网络在关注上下文相关特征方面的能力。我们在自然语言处理领域的几个基准测试上评估了这些增强措施的性能。我们的结果表明，这些修改在适应性和效率方面均取得了改进，表明这些修改可能为设计灵活且具有上下文感知能力的 Transformer 模型设定新的标准。
引用
@article{arxiv.2405.13407,
title = {Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections},
author = {Sahil Rajesh Dhayalkar},
journal= {arXiv preprint arXiv:2405.13407},
year = {2025}
}
备注
10 pages, 2 figures, 4 experiments