HoverAI：一种用于自然人机交互的具身空中智能体
机器人学
2026-01-21 v1
摘要
在人类占据的空间中运行的无人机因通信机制不足而存在意图不确定性。我们提出 HoverAI，一种将无人机移动性、独立于基础设施的视觉投影和实时对话式 AI 集成到统一平台的具身空中智能体。HoverAI 配备 MEMS 激光投影仪、机载半刚性屏幕和 RGB 相机，通过视觉和语音感知用户，并通过唇形同步的虚拟形象进行响应，该形象可根据用户人口统计特征调整外观。该系统采用多模态流水线，结合了 VAD、ASR（Whisper）、基于 LLM 的意图分类、用于对话的 RAG、用于个性化的面部分析以及语音合成（XTTS v2）。评估结果显示，在命令识别（F1: 0.90）、人口统计估计（性别 F1: 0.89，年龄 MAE: 5.14 岁）和语音转录（WER: 0.181）方面均具有高精度。通过将空中机器人技术与自适应语音 AI 和自包含视觉输出相结合，HoverAI 引入了一类新型的、具有空间感知能力、社会响应性的具身智能体，适用于引导、辅助和以人为中心的交互应用。
引用
@article{arxiv.2601.13801,
title = {HoverAI: An Embodied Aerial Agent for Natural Human-Drone Interaction},
author = {Yuhua Jin and Nikita Kuzmin and Georgii Demianchuk and Mariya Lezina and Fawad Mehboob and Issatay Tokmurziyev and Miguel Altamirano Cabrera and Muhammad Ahsan Mustafa and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2601.13801},
year = {2026}
}
备注
This paper has been accepted for publication at LBR HRI 2026 conference