基于前瞻搜索的低复杂度语义数据包聚合用于令牌通信
信号处理
2025-06-25 v1 机器学习
摘要
令牌是生成式人工智能 (GenAI) 和大型语言模型 (LLM) 的基本处理单元，令牌通信 (TC) 对启用远程 AI 生成内容 (AIGC) 和无线 LLM 应用至关重要。与传统比特不同，每个比特都是独立处理的，而每个令牌的语义取决于其周围的上下文令牌。这种令牌间依赖性使 TC 在故障信道中脆弱，单个令牌的丢失会显著扭曲原始消息的语义。为此，本文聚焦于优化令牌数据包化，以在故障信道下最大化原始和接收令牌消息之间的平均令牌相似性 (ATS)。由于令牌间依赖性，这个令牌分组问题是组合的，随消息长度指数增长。为此，我们提出了一种基于前瞻搜索的语义数据包聚合框架 (SemPA-Look)，该框架建立在两个核心思想之上。首先，它引入了残差语义得分 (RSS) 作为消息级 ATS 的令牌级替代方案，即使某个令牌数据包丢失，也能实现语义的稳健保留。其次，与完整搜索不同，SemPA-Look 应用一种受前瞻搜索启发的算法，对在不替换地对数据包内的令牌候选人进行抽样（固定深度），条件于在替换方式对数据包间的令牌候选人进行抽样（固定宽度），从而实现线性复杂度。在针对远程 AIGC 任务（使用 MS-COCO 数据集）的实验中，表明 SemPA-Look 实现了高水平的 ATS 和 LPIPS 分数，相当于穷举搜索，同时将计算复杂度降低了最高可达 40 倍。与诸如遗传算法 (GA) 等其他线性复杂度算法相比，SemPA-Look 实现了最高可达 10 倍的低复杂度，显示其在远程 AIGC 和其他 TC 应用中的实用性。
引用
@article{arxiv.2506.19451,
title = {Low-Complexity Semantic Packet Aggregation for Token Communication via Lookahead Search},
author = {Seunghun Lee and Jihong Park and Jinho Choi and Hyuncheol Park},
journal= {arXiv preprint arXiv:2506.19451},
year = {2025}
}