面向语义通信的边缘Transformer模型自适应Pareto最优Token合并

大规模Transformer模型已成为语义通信系统的强大工具，使边缘设备能够在嘈杂无线信道上提取丰富的表征以实现稳健推理。然而，其巨大的计算需求仍是面向资源受限6G网络实际部署的主要障碍。本文提出一种针对预训练视觉Transformer的训练自由自适应Token合并框架，以联合降低推理时间和传输资源消耗。我们将每层合并比例的选择问题形式化为多目标优化问题，以平衡准确率与计算成本。通过基于高斯过程的贝叶斯优化构建Pareto前沿，实现对动态应用需求和信道条件的灵活运行时适应。广泛实验表明，我们的方法始终优于其他基线，显著降低浮点运算，同时在广泛的信噪比(SNR)条件下保持具竞争力的准确率。额外结果突出了自适应策略的有效性，即能响应信道质量调整合并的激进程度，为按需在延迟和语义保真度之间提供实用性机制。这些发现为在未来边缘智能系统中部署基于Transformer的语义通信提供了可扩展且高效的途径。