RoboEgo 系统卡：具备原生全双工能力的全模态模型
人工智能
2025-06-03 v1
摘要
人类自然地以全双工方式处理现实世界的多模态信息。在人工智能中，复制这一能力对于推进模型开发与部署至关重要，尤其是在具身智能场景下。多模态模型的发展面临两大主要挑战：(1) 有效处理三种以上的模态（如视觉、音频和文本）；以及 (2) 对快速演变的人类指令提供全双工响应。为了促进对同时支持全模态处理和全双工能力的模型的研究，我们提出了 RoboEgo（别名：FLM-Ego），这是一个旨在应对上述两大挑战的统一模型系统。RoboEgo 融合了原生支持全双工的骨干架构与算法，实现了 80 ms 的理论双工延迟。在现实条件下的流式视觉基础对话中，RoboEgo 展现出卓越的响应能力和语音自然度，同时保持了与 SOTA 半双工全模态模型相当的内容质量——这一壮举此前被认为对于原生全双工系统是无法实现的。
引用
@article{arxiv.2506.01934,
title = {RoboEgo System Card: An Omnimodal Model with Native Full Duplexity},
author = {Yiqun Yao and Xiang Li and Xin Jiang and Xuezhi Fang and Naitong Yu and Aixin Sun and Yequan Wang},
journal= {arXiv preprint arXiv:2506.01934},
year = {2025}
}