TAPOR：一种基于完全被动热 sensing 的 3D 手姿重建方法，用于设备周围交互

本文介绍了TAPOR系统的设计与实现，这是一个能够实现准确和稳健的3D手姿重建的隐私保护、非接触且完全被动的感知系统，采用单个低成本热力学阵列传感器进行设备周围交互。热力学感知技术由于采用廉价且微型化的热力学阵列，在图像分辨率显著低于摄像机但远优于雷达或WiFi等射频信号，展现出出色的实用性-隐私性平衡。然而，TAPOR的设计存在挑战，主要是由于捕获的温度图具有低分辨率且缺乏纹理。为克服这些挑战，我们研究了热力学深度和热力学姿态属性，提出一种受物理启发的神经网络，学习潜在手姿的有效3D空间表征。我们将3D姿态重建问题形式化为一个独立的检索任务，使从输入温度图中实现准确的手姿确定成为可能。为在物联网设备上部署TAPOR，我们引入一种有效的异构知识蒸馏方法，将计算量降低377倍。TAPOR在真实场景中完整实现并测试，表现卓越，支持四个手势控制和手指跟踪案例研究。我们设想TAPOR将成为设备周围控制的通用接口，并已在https://github.com/aiot-lab/TAPOR上开源。