自适应集成分层注意力(AILA)
机器学习
2025-05-14 v2 人工智能
计算与语言
计算机视觉与模式识别
信息检索
神经与进化计算
摘要
我们提出自适应集成分层注意力(AILA),一种将密集跳跃连接与多种自适应特征复用机制相结合的神经网络架构。我们在三项具有挑战性的任务上对 AILA 进行了评估:多种商品与指数的价格预测(S&P 500、黄金、美元期货、咖啡、小麦)、基于 CIFAR-10 数据集的图像识别,以及 IMDB 影评数据集上的情感分析。在所有任务中,AILA 均能匹配 LSTM、Transformer 和 ResNet 等强基线深度学习模型,且训练与推理时间仅为其一小部分。值得注意的是,我们实现并测试了两种版本的模型——AILA-Architecture 1,使用简单的线性层作为层间连接机制;AILA-Architecture 2,实现注意力机制以选择性地聚焦于先前层的输出。两种架构均应用于单任务学习设置,每个模型针对各任务单独训练。实验结果证实,AILA 的自适应层间连接通过在多个网络深度灵活复用相关特征,带来了稳健的性能提升。因此,AILA 方法是对现有架构的扩展,能够改进长程序列建模、提升图像识别中的计算速度,并在实际应用中取得 SOTA 分类性能。
引用
@article{arxiv.2503.22742,
title = {Adaptive Integrated Layered Attention (AILA)},
author = {William Claster and Suhas KM and Dhairya Gundechia},
journal= {arXiv preprint arXiv:2503.22742},
year = {2025}
}