基于视频记录的新生儿面部及面部关键点检测
图像与视频处理
2024-03-12 v1 计算机视觉与模式识别
机器学习
摘要
本文探讨新生儿的自动化面部及面部关键点检测，这是许多基于视频的新生儿健康应用（如生命体征估计、疼痛评估、睡-醒分类和黄疸检测）的重要第一步。利用临床环境中三个公开可用的新生儿数据集，分别标注了 366 张图像（258 名受试者）和 89 张（66 名受试者）用于训练和测试。迁移学习应用于两个基于 YOLO 的模型，输入训练图像在每个训练周期中通过随机水平翻转、光度色彩失真、平移和缩放进行增强。此外，还探索了输入图像的重新定向以及训练好的深度学习模型的融合。我们提出的基于 YOLOv7Face 的模型优于现有方法，面部检测平均精度为 84.8%，面部关键点检测归一化平均误差为 0.072。总体而言，这将有助于开发全自动新生儿健康评估算法。
引用
@article{arxiv.2302.04341,
title = {Neonatal Face and Facial Landmark Detection from Video Recordings},
author = {Ethan Grooby and Chiranjibi Sitaula and Soodeh Ahani and Liisa Holsti and Atul Malhotra and Guy A. Dumont and Faezeh Marzbanrad},
journal= {arXiv preprint arXiv:2302.04341},
year = {2024}
}
备注
5 pages, 2 tables. Paper submitted for potential publication as a conference paper at the 45th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2023