用于小组工作的计算机视觉对象：挑战与机遇

交互式和空间感知技术正在改变教育框架，尤其是在 K-12 教育环境中，动手探索有助于深化概念理解。然而，在协作任务期间，现有系统往往缺乏准确捕捉学生与物理对象之间真实交互的能力。这一问题可以通过自动 6D 位姿估计来解决，即从 RGB 图像或视频中估计物体在三维空间中的位置和姿态。对于与物理对象交互的协作小组而言，6D 位姿估计允许 AI 系统将物体与实体关联起来。作为本工作的一部分，我们引入了 FiboSB，这是一个新颖且具有挑战性的 6D 位姿视频数据集，包含三位参与者解决交互任务，任务中包括小型手持立方体和称重尺。这种设置为 6D 位姿估计带来了独特的挑战，因为小组整体从距离较远的位置记录，以捕捉所有参与者——结合立方体的小尺寸，这使得 6D 位姿估计本质上具有非平凡性。我们对 FiboSB 评估了四种最先进的 6D 位姿估计方法，揭示了当前算法在协作小组工作中的局限性。这些方法的错误分析显示，6D 位姿方法的对象检测模块存在故障。我们通过针对 FiboSB 微调 YOLO11-x 来解决此问题，实现了整体 mAP_50 为 0.898。此处 presented 的数据集、基准结果以及对 YOLO11-x 错误的分析，为在困难协作环境中利用 6D 位姿估计提供了基础。