ArK：具备知识交互涌现能力的增强现实
计算机视觉与模式识别
2023-05-02 v1
摘要
尽管混合现实与交互式AI智能体的应用日益增长，这些系统仍难以在未知环境中生成高质量的2D/3D场景。通常做法需部署AI智能体为每个新任务收集大量数据以训练模型。该过程成本高昂，且在许多领域甚至不可行。在本研究中，我们开发了一个无限智能体，学习将知识记忆从通用基础模型（如GPT4、DALLE）迁移到新颖领域或场景，用于物理或虚拟世界的场景理解与生成。我们方法的核心是一种涌现机制，称为知识推理交互增强现实（ArK），其利用知识记忆在未知物理世界与虚拟现实环境中生成场景。知识交互涌现能力（图1）体现为：i) 跨模态微观动作——在多模态模型中从物理现实收集大量相关知识记忆数据以完成各交互任务（如未知场景理解）；ii) 现实无关宏观行为——在混合现实环境中改进针对不同的角色特征、目标变量、协作信息等的交互。我们在场景生成与编辑任务上验证了ArK的有效性。我们表明，结合大型基础模型的ArK方法相比基线显著提升了生成2D/3D场景的质量，展示了将ArK引入生成式AI在元宇宙与游戏仿真等应用中的潜在益处。
引用
@article{arxiv.2305.00970,
title = {ArK: Augmented Reality with Knowledge Interactive Emergent Ability},
author = {Qiuyuan Huang and Jae Sung Park and Abhinav Gupta and Paul Bennett and Ran Gong and Subhojit Som and Baolin Peng and Owais Khan Mohammed and Chris Pal and Yejin Choi and Jianfeng Gao},
journal= {arXiv preprint arXiv:2305.00970},
year = {2023}
}