UniMIC：面向人机协作的基于Token的多模态交互编码
人工智能
2025-09-29 v1
摘要
大型多模态模型（Large Multimodal Models, LMMs）与基于云的 AI 智能体的快速发展正将人机协作转变为双向、多模态交互。然而，现有的编解码器仍针对单模态、单向通信进行优化，导致在传统的压缩-传输-重建流程下出现重复的退化。为解决这一局限性，我们提出了 UniMIC，一种统一的基于 token 的多模态交互编码框架，它连接了边缘设备与云 AI 智能体。UniMIC 不传输原始像素或纯文本，而是采用紧凑的 token 化表示作为通信媒介，在保持与 LMMs 兼容的同时实现高效的低比特率传输。为进一步增强压缩，基于轻量级 Transformer 的熵模型结合特定场景设计——通用、掩码与文本条件化——有效最小化 token 间的冗余。在文本到图像生成、文本引导的图像修复、图像外扩以及视觉问答上的大量实验表明，UniMIC 实现了显著的比特率节省，并且在超低比特率（<0.05bpp）下依然保持鲁棒，且不损害下游任务性能。这些结果确立了 UniMIC 作为下一代多模态交互通信的实用且具有前瞻性的范式。
引用
@article{arxiv.2509.22570,
title = {UniMIC: Token-Based Multimodal Interactive Coding for Human-AI Collaboration},
author = {Qi Mao and Tinghan Yang and Jiahao Li and Bin Li and Libiao Jin and Yan Lu},
journal= {arXiv preprint arXiv:2509.22570},
year = {2025}
}