基于弱标签视频的疼痛强度估计深度域适应有序回归

从视频中的面部表情自动估计疼痛强度在医疗应用中具有巨大潜力。然而，需要域适应（DA）来缓解源域和目标域所捕获视频数据之间通常出现的域偏移问题。鉴于收集和标注视频的费力任务，以及由于相邻强度级别间模糊性带来的主观偏差，弱监督学习（WSL）在此类应用中正受到关注。然而，大多数最先进的WSL模型通常被表述为回归问题，未利用强度级别间的有序关系，也未利用多个连续帧的时间一致性。本文提出了一种用于弱监督域适应有序回归（WSDA-OR）的新深度学习模型，其中目标域视频具有周期性提供的粗标签。WSDA-OR模型强化分配给目标序列的强度级别间的有序关系，并将多个相关帧与序列级标签关联（而非单帧）。特别地，它通过整合多示例学习与深度对抗域适应，学习判别性和域不变的特征表示，其中使用软高斯标签有效表示来自目标域的弱有序序列级标签。所提方法在RECOLA视频数据集作为全标签源域、UNBC-McMaster视频数据作为弱标签目标域上进行了验证。我们还在BIOVID和Fatigue（私有）数据集上验证了WSDA-OR的序列级估计。实验结果表明，我们的方法相比最先进模型可显著提升性能，实现更高的定位精度。