多模态远程推断
摘要
我们考虑一个包含多种模态的远程推理系统，其中多模态机器学习（ML）模型使用来自远程传感器收集的特征进行实时推断。当传感器观测随时间动态变化时，及时交付特征至关重要。然而，在受限网络资源下，无法保证所有模态的特征能够及时交付。为此，我们构建一个多模态调度问题，以最小化ML模型的推断误差为目标。我们将该误差建模为Age of Information（AoI）向量的通用函数，其中AoI量化数据新鲜度。我们将问题建模为半马尔可夫决策过程（SMDP），并推导出具有简化状态集的等效重构。我们随后证明，该问题在双模态和多模态情况下的链结构 fundamentally不同。对于双模态情况，我们证明最优策略具有基于指数的阈值结构。对于一般的多模态情况（即具有超过两个模态的情况），我们发展了最优误差感知切换-传输策略（EAST），其使用多链策略迭代算法（MPI）进行计算。为进一步降低复杂度，我们还在特定设置下开发了两种低复杂度策略：误差感知传输策略（EAT）和固定阈值策略（FT）。三项案例研究的数值结果表明，所提出的策略优于包括轮询、贪心和均匀随机策略在内的几种简单启发式方法。特别是，EAST相对于每个案例中最佳基线的推断误差降低最高可达44.8%。在五模态情况下，EAT和FT分别相对于EAST的计算时间降低6.6倍和3000倍，同时推断误差分别增加20.2%和38.6%。
引用
@article{arxiv.2508.07555,
title = {Multimodal Remote Inference},
author = {Keyuan Zhang and Yin Sun and Bo Ji},
journal= {arXiv preprint arXiv:2508.07555},
year = {2026}
}
备注
Submitted to IEEE/ACM Transactions on Networking; a preliminary version appeared in the Proceedings of the 22nd IEEE International Conference on Mobile Ad-Hoc and Smart Systems (MASS 2025)