THOR：基于热成像引导的自适应视觉采样的热手-物体推理
计算机视觉与模式识别
2025-07-10 v1
摘要
可穿戴摄像机日益被用作人类行为的观察和干预工具，提供关于手部相关活动的详细视觉数据。可以利用此数据来促进行为日志的记忆回顔，或针对改善健康的及时干预。然而，连续处理来自这些摄像机的RGB图像会消耗大量电力，影响电池寿命，产生大量不必要的视频数据用于后处理，引发隐私 concerns，并需要大量计算资源进行实时分析。我们引入THOR，这是一种实时的自适应时空RGB帧采样方法，利用热成像传感器捕获手部-物体 patches 并进行实时分类。我们使用低分辨率热成像摄像器数据识别人们从一种手部相关活动切换到另一种活动的时刻，并通过在活动转换期间增加采样率、在持续活动期间降低采样率来调整RGB帧采样率。此外，我们利用手部热线索在每个RGB帧中定位感兴趣区域(即手部-物体交互)，允许系统仅处理图像必要的部分进行活动识别。我们开发了一个可穿戴设备，通过在野外进行14名参与者、30多个活动的研究来验证该方法，并进一步在Ego4D(923名参与者、9个国家，总计3670小时视频)上进行评估。我们的结果表明，仅使用原始RGB视频数据的3%，我们的方法捕获了所有活动片段，并实现了手部相关活动识别F1分数(95%)，与使用整个RGB视频(94%)相当。我们的工作为在实时监控手部相关活动和健康风险行为提供了更实用的路径。
引用
@article{arxiv.2507.06442,
title = {THOR: Thermal-guided Hand-Object Reasoning via Adaptive Vision Sampling},
author = {Soroush Shahi and Farzad Shahabi and Rama Nabulsi and Glenn Fernandes and Aggelos Katsaggelos and Nabil Alshurafa},
journal= {arXiv preprint arXiv:2507.06442},
year = {2025}
}