面向知识驱动交互与情境感知对话的人类数字孪生体架构
人机交互
2025-04-07 v1 人工智能
摘要
近期的人工智能（AI）和机器学习（ML）发展正在为人类-自主伴随系统（HAT）在任务、任务和持续协调活动中创造新的机会。一个主要挑战是使人类能够保持对自主资产的 awareness 和控制，同时也建立信任并支持共享的情境理解。为此，我们提出了一种实时的Human Digital Twin（HDT）架构，将Large Language Models（LLM）集成用于知识报告、问答和推荐，嵌入可视化界面。该系统应用元认知方法，以实现与人类伴侣期望一致的个性化、情境感知响应。HDT作为一个在视觉和行为上真实可信的团队成员，贯穿任务生命周期，从训练到部署到事后评估。我们的架构包括语音识别、情境处理、AI驱动的对话、情感建模、唇部同步和多模态反馈。我们描述了系统设计、性能指标以及未来发展方向，以实现更自适应和更真实的HAT系统。
引用
@article{arxiv.2504.03147,
title = {A Human Digital Twin Architecture for Knowledge-based Interactions and Context-Aware Conversations},
author = {Abdul Mannan Mohammed and Azhar Ali Mohammad and Jason A. Ortiz and Carsten Neumann and Grace Bochenek and Dirk Reiners and Carolina Cruz-Neira},
journal= {arXiv preprint arXiv:2504.03147},
year = {2025}
}
备注
Presented at: 2024 Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC), Paper No. 24366, 10 pages, 5 figures