面向人机协作的 POMDP 模型学习
人机交互
2018-04-02 v1 机器人学
摘要
近年来，人机协作（HRC）迅速成为控制、机器人学和心理学交叉领域的研究热点。现有 HRC 工作大多侧重于底层的人体感知运动规划或 HRC 界面设计，而我们特别关注面向高层复杂任务的 HRC 形式化设计，其中获取一个准确且易于处理的人体模型至关重要。我们并非假设人体模型已知，而是探讨从观察到的感知数据（如相关人的手势、眼动、头部运动）中学习人体模型是否合理。作为初步尝试，本文采用部分可观测马尔可夫决策过程（POMDP）模型，因为越来越多的心理学研究证据表明人类行为具有马尔可夫性质。此外，POMDP 为状态隐藏且动作具有随机结果的序贯决策提供了一个通用建模框架。与大多数 POMDP 模型学习文献不同，我们不假设 POMDP 模型中的状态、转移结构或状态数量界限是给定的。相反，我们使用贝叶斯非参数学习方法从数据中确定潜在的人类状态。然后，我们采用一种受概率近似正确（PAC）学习启发的方法，不仅获得转移概率的估计，还获得与该估计相关的置信区间。进而，基于估计模型导出的控制策略的性能被保证与真实模型足够接近。最后，使用从驾驶辅助测试台收集的数据训练模型，验证了所提学习方法的有效性。
引用
@article{arxiv.1803.11300,
title = {POMDP Model Learning for Human Robot Collaboration},
author = {Wei Zheng and Bo Wu and Hai Lin},
journal= {arXiv preprint arXiv:1803.11300},
year = {2018}
}