DARTFormer：寻找最佳注意力类型
机器学习
2022-10-04 v1
摘要
鉴于广泛且不断增长的各类高效 Transformer 注意力机制，在确定给定任务时哪种注意力最有效十分重要。在这项工作中，我们同样感兴趣于组合不同注意力类型以构建异构 Transformer。我们首先提出一种类 DARTS 的神经架构搜索（NAS）方法来寻找给定任务的最佳注意力，在该设定下，所有头使用相同注意力（同质模型）。我们的结果表明 NAS 在此任务上高度有效，并为 IMDb 字节级文本分类和 Listops 识别出最佳注意力机制。随后我们将框架扩展以搜索并构建具有多种不同注意力类型的 Transformer，称之为异构 Transformer。我们展示虽然这些异构 Transformer 优于平均同质模型，但无法超越最佳者。我们探讨了异构注意力合理的原因，以及它最终失败的原因。
引用
@article{arxiv.2210.00641,
title = {DARTFormer: Finding The Best Type Of Attention},
author = {Jason Ross Brown and Yiren Zhao and Ilia Shumailov and Robert D Mullins},
journal= {arXiv preprint arXiv:2210.00641},
year = {2022}
}