基于弱标记视频的疼痛强度估计深度域适应有序回归方法

从视频中捕获的面部表情估计疼痛强度在医疗健康应用中具有巨大潜力。鉴于与面部表情主观变异性和实际采集条件相关的挑战，最先进的深度学习（DL）模型用于识别面部表情的准确率可能会下降。域适应已被广泛探索以缓解各种源域与目标域间视频数据通常出现的域偏移问题。此外，鉴于收集和标注视频的费力任务，以及由于相邻强度级别间模糊性导致的主观偏差，弱监督学习在此类应用中正受到关注。最先进的弱监督学习（WSL）模型通常被表述为回归问题，并且未利用疼痛强度级别间的有序关系，也未利用多个连续帧的时间相干性。本文提出了一种新的用于弱监督域适应（DA）与有序回归的DL模型，可使用以周期性方式提供的粗标签的目标域视频进行适应。WSDA-OR模型强化了分配给目标序列的强度级别间的有序关系，并将多个相关帧与序列级标签相关联。特别地，它通过整合多示例学习与深度对抗域适应来学习判别性与域不变的特征表示，其中使用软高斯标签来高效表示来自目标域的弱有序序列级标签。所提方法使用RECOLA视频数据集作为全标注源域数据，以及UNBC-McMaster肩痛视频数据集作为弱标注目标域数据进行了验证。我们还在BIOVID和Fatigue数据集上验证了WSDA-OR用于序列级估计。