SkillSight：基于注视的高效一手式技能评估
计算机视觉与模式识别
2026-04-07 v2
摘要
智能眼镜上的以人为中心感知可能变革我们在物理世界中学习新技能的方式，但自动技能评估仍是根本性技术挑战。我们引入 SkillSight 用于从一手式数据进行高效技能评估。我们方法的核心假设是：技能水平不仅体现在人们执行活动的方式（视频），也体现在他们如何在此过程中引导注意力（注视）。我们的两阶段框架首先学习在预测技能水平时联合建模注视和一手式视频，然后提炼出仅包含注视的学生模型。在推断时，学生模型仅需要输入注视数据，大幅降低功耗，消除持续视频处理。实验在覆盖烹饪、音乐和运动的三个数据集上表明，首次证明注视在跨越 diverse 实际场景中的技能理解中具有重要作用。我们的 SkillSight 教师模型实现了最先进的性能，而我们的仅注视学生变体使用 73 倍更低的功耗即可保持高准确率。这些结果为野生环境中的 AI 支持技能学习铺平了道路。
引用
@article{arxiv.2511.19629,
title = {SkillSight: Efficient First-Person Skill Assessment with Gaze},
author = {Chi Hsuan Wu and Kumar Ashutosh and Kristen Grauman},
journal= {arXiv preprint arXiv:2511.19629},
year = {2026}
}