AToM-Bot：基于情感心智理论的具身满足未言明人类需求
机器人学
2024-09-24 v3
摘要
我们提出了AToM-Bot，一种用于主动人机交互的新型任务生成与执行框架，该框架利用由情感心智理论（AToM）提示的视觉语言模型（VLM）的人类心理和身体状态推断能力。无需人类明确指令，AToM-Bot主动生成并执行可行任务以改善人类整体福祉。当在人类周围时，AToM-Bot首先基于推断的人类状态和对周围环境的观察来检测当前人类需求。然后，它生成满足这些需求的任务，同时考虑其具身约束。我们设计了涵盖4个常见场景的16个日常生活情境，并将相同的视觉刺激呈现给59名人类受试者和我们的机器人。我们使用人类开放式回答与机器人输出之间的相似性以及人类满意度评分来衡量机器人性能。AToM-Bot在需求检测（6.42/7，91.7%）、具身解决方案（6.15/7，87.8%）和任务执行（6.17/7，88.1%）方面获得了高人类评价。我们表明，AToM-Bot在生成和执行满足未言明人类需求的可行计划方面表现出色。视频和代码可在https://affective-tom-bot.github.io获取。
引用
@article{arxiv.2406.08455,
title = {AToM-Bot: Embodied Fulfillment of Unspoken Human Needs with Affective Theory of Mind},
author = {Wei Ding and Fanhong Li and Ziteng Ji and Zhengrong Xue and Jia Liu},
journal= {arXiv preprint arXiv:2406.08455},
year = {2024}
}