基于迁移学习的低分辨率热成像TUG测试图像关键点检测
计算机视觉与模式识别
2025-10-23 v1 图像与视频处理
摘要
本研究提出了一种 novel 方法，用于低分辨率热成像图像中的人类关键点检测，采用迁移学习技术。我们首次将Timed Up and Go (TUG) 测试引入热成像计算机视觉领域，建立了一种新的行动评估范式。该方法利用 MobileNetV3-Small 编码器和 ViTPose 解码器进行训练，采用平衡潜在表示对齐与热图精度的复合损失函数。模型采用 COCO 关键点检测挑战赛的 Object Keypoint Similarity (OKS) 指标进行评估。所提出模型在 AP、AP50 和 AP75 分数分别达到 0.861、0.942 和 0.887，显著优于 Mask R-CNN 和 ViTPose-Base 等传统监督学习方法。此外，该模型在参数数量和 FLOPS 方面展现出卓越的计算效率。这项研究为未来热成像在行动评估和康复监测中的临床应用奠定了坚实基础。
引用
@article{arxiv.2501.18453,
title = {Transfer Learning for Keypoint Detection in Low-Resolution Thermal TUG Test Images},
author = {Wei-Lun Chen and Chia-Yeh Hsieh and Yu-Hsiang Kao and Kai-Chun Liu and Sheng-Yu Peng and Yu Tsao},
journal= {arXiv preprint arXiv:2501.18453},
year = {2025}
}
备注
Accepted to AICAS 2025. This is the preprint version