基于样本的动态分层 Transformer：通过上下文赌博机实现层与头灵活性

Transformer 需要固定数量的层和头，这使得它们对单个样本的复杂性缺乏灵活性，且训练和推理成本高昂。为解决这一问题，我们提出了一种基于样本的动态分层 Transformer (DHT) 模型，其层和头可以通过解决上下文赌博机问题，根据单个数据样本进行动态配置。为确定层和头的数量，我们使用均匀置信界，同时部署组合汤普森采样，以在给定头数量的情况下选择特定的头组合。与以往仅专注于压缩已训练网络以用于推理的工作不同，DHT 不仅在训练期间自适应优化底层网络架构方面具有优势，而且拥有灵活的网络以实现高效推理。据我们所知，这是第一个无需任何额外辅助神经网络来实现动态系统的、全面的数据驱动动态 Transformer。根据实验结果，我们在训练和推理阶段均实现了高达 74% 的计算节省，且精度损失极小。