从自拍图像评估面部痤疮严重程度的计算机视觉应用
计算机视觉与模式识别
2019-08-01 v3
摘要
我们与雀巢 SHIELD（皮肤健康、创新、教育与长寿发展，NSH）合作开发了一种深度学习模型，能够像皮肤科医生一样准确地从自拍图像评估痤疮严重程度。该模型被部署为移动应用程序，为患者提供了一种简便的方式来评估和跟踪其痤疮治疗的进展。NSH 为此研究获取了 4700 张自拍图像，并招募了 11 名内部皮肤科医生将其标注为五类：1-清晰、2-近乎清晰、3-轻度、4-中度、5-重度。使用 OpenCV 检测面部标志点，我们从自拍图像中裁剪出特定的皮肤块以最小化无关背景。然后我们采用迁移学习方法，使用 ResNet 152 预训练模型从皮肤块中提取特征，随后训练一个全连接层以逼近所需的严重程度评分。为解决 CNN 模型的空间敏感性问题，我们引入了一种新的图像滚动数据增强方法，有效地使痤疮皮损出现在训练图像中的更多位置。我们的结果表明，该方法改善了 CNN 模型的泛化能力，在测试图像上优于超过半数的皮肤科医生小组。据我们所知，这是首个使用自拍图像进行痤疮评估的基于深度学习的解决方案。
引用
@article{arxiv.1907.07901,
title = {A Computer Vision Application for Assessing Facial Acne Severity from Selfie Images},
author = {Tingting Zhao and Hang Zhang and Jacob Spoelstra},
journal= {arXiv preprint arXiv:1907.07901},
year = {2019}
}
备注
4 pages, 6 figures. To be presented at the 2019 KDD workshop on Applied data science in Healthcare: bridging the gap between data and knowledge