面向实时边缘 AI：模型无关、任务导向的视觉特征对齐通信
计算机视觉与模式识别
2024-12-03 v1 信号处理
摘要
任务导向通信是一种有前景的做法，通过优化学习-based 模块来提取和传输相关任务信息，从而提高边缘推理系统的通信效率。然而，实时应用面临实际挑战，如边缘服务器的覆盖不完整和潜在故障。这一情况需要在不同推理系统之间进行跨模型通信，使一个服务提供商的边缘设备能够与另一个服务提供商的边缘服务器有效协作。独立优化多样化的边缘系统常常导致特征空间不一致，这会阻碍现有任务导向通信的跨模型推理。为促进和实现有效的跨模型任务导向通信，本研究引入了一种新框架，利用跨不同系统的共享锚定数据。该方法解决了服务器端和设备端场景中的特征对齐挑战。特别地，利用视觉特征的线性不变性，我们提出了高效的服务器端特征对齐技术，使用编码锚定数据特征来估计线性变换。对于设备端对齐，我们利用视觉特征的角度保持特性，提出使用锚定数据对相对表示进行编码，以在推理期间无需额外对齐程序即可实现跨模型通信。计算机视觉基准测试的实验结果表明，所提出的特征对齐方法在跨模型任务导向通信方面性能优异。运行时和计算开销分析进一步确认了所提出特征对齐方法在实时应用中的有效性。
引用
@article{arxiv.2412.00862,
title = {Toward Real-Time Edge AI: Model-Agnostic Task-Oriented Communication with Visual Feature Alignment},
author = {Songjie Xie and Hengtao He and Shenghui Song and Jun Zhang and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2412.00862},
year = {2024}
}