BigSmall：面向异质空间与时间生理测量的高效多任务学习
计算机视觉与模式识别
2023-11-20 v2
摘要
对人类视觉感知的理解在历史上启发了计算机视觉架构的设计。例如，感知在空间和 temporal 上均发生于不同尺度，表明通过关注不同尺度下的特定特征可更有效地提取显著视觉信息。身体因生理过程产生的视觉变化也以不同尺度和具有模态特性的属性发生。受此启发，我们提出BigSmall，一种用于生理和行为测量的高效架构。我们提出了首个基于相机的联合面部动作、心脏和肺部测量模型。我们提出了一种带有包裹时间偏移模块的多分支网络，带来了精度和效率的双重提升。我们观察到融合低级特征会导致次优性能，而融合高级特征能实现效率提升且精度损失可忽略。实验结果表明BigSmall显著降低了计算成本。此外，与现有任务特定模型相比，BigSmall通过统一模型同时在多个生理测量任务上取得相当或更好的结果。
引用
@article{arxiv.2303.11573,
title = {BigSmall: Efficient Multi-Task Learning for Disparate Spatial and Temporal Physiological Measurements},
author = {Girish Narayanswamy and Yujia Liu and Yuzhe Yang and Chengqian Ma and Xin Liu and Daniel McDuff and Shwetak Patel},
journal= {arXiv preprint arXiv:2303.11573},
year = {2023}
}