OnDev-LCT：面向联邦学习的设备上轻量级卷积Transformer

联邦学习(FL)已成为一种有前景的方法，可在多个边缘设备上协作训练机器学习模型，同时保护隐私。FL的成功取决于参与模型的效率及其处理分布式学习独特挑战的能力。尽管Vision Transformer (ViT)的几种变体已显示出作为现代卷积神经网络(CNN)替代品进行集中训练的潜力，但其前所未有的规模和更高的计算需求阻碍了它们在资源受限的边缘设备上的部署，挑战了它们在FL中的广泛应用。由于FL中的客户端设备通常计算资源和通信带宽有限，为此类设备设计的模型必须在模型大小、计算效率以及适应FL中遇到的多样化和非独立同分布数据分布的能力之间取得平衡。为应对这些挑战，我们提出OnDev-LCT：用于设备上视觉任务的轻量级卷积Transformer，训练数据和资源有限。我们的模型通过LCT分词器利用残差线性瓶颈块中的高效深度可分离卷积提取局部特征，从而融入图像特定的归纳偏置，而LCT编码器中的多头自注意力机制隐式促进捕获图像的全局表示。在基准图像数据集上的大量实验表明，我们的模型在参数更少、计算需求更低的情况下优于现有轻量级视觉模型，使其适用于具有数据异质性和通信瓶颈的FL场景。