基于人类注意力辅助的空中视觉与对话导航多模型融合
计算机视觉与模式识别
2023-08-29 v1
摘要
无人机已广泛应用于日常生活的诸多领域。它减轻了人们一直手持控制器的负担，并使残障人士或双手被占用者更易操控无人机。然而，由于高度不可控等因素，空中机器人的控制比普通机器人更为复杂。因此，开发能够与人对话并遵循自然语言指令的智能无人机至关重要。在本报告中，我们提出了针对2023年ICCV Conversation History的空中导航任务。基于包含超过3k条记录导航轨迹与异步人机对话的AVDN数据集，我们提出了一种人类注意力辅助Transformer模型（HAA-Transformer）与人类注意力辅助LSTM（HAA-LSTM）模型的融合训练有效方法，实现了导航路径点与人类注意力的预测。该方法不仅取得了较高的SR与SPL指标，且相比基线模型在GP指标上提升了7%。
引用
@article{arxiv.2308.14064,
title = {Multi-model fusion for Aerial Vision and Dialog Navigation based on human attention aids},
author = {Xinyi Wang and Xuan Cui and Danxu Li and Fang Liu and Licheng Jiao},
journal= {arXiv preprint arXiv:2308.14064},
year = {2023}
}
备注
4 pages, 1 figures