使用领域特定人工智能改进发育儿科数字疗法：机器学习研究
计算机视觉与模式识别
2024-06-05 v2 计算机与社会
人机交互
摘要
背景：自动情绪分类可帮助那些难以识别情绪的人，包括患有自闭症等发育行为疾病的儿童。然而，大多数计算机视觉情绪识别模型基于成人情绪训练，因此应用于儿童面部时表现不佳。目的：我们设计了一种策略，将儿童情绪富集图像的收集与标注游戏化，以提升自动儿童情绪识别模型的性能，使其接近数字医疗方法所需水平。方法：我们利用原型治疗性智能手机游戏GuessWhat（其很大程度上为患有发育与行为疾病的儿童设计）将儿童由游戏引发多种情绪表达的视频数据的安全收集游戏化。独立地，我们创建了一个安全Web界面HollywoodSquares将人工标注工作游戏化，专为任何合格标注者使用而定制。我们收集并标注了2155个视频、39968个情绪帧以及所有图像上的106001个标签。借助这一大幅扩展的儿科情绪中心数据库（比现有公共儿科情绪数据集大30倍以上），我们训练了一个卷积神经网络（CNN）计算机视觉分类器，用于分类儿童表现出的开心、悲伤、惊讶、恐惧、愤怒、厌恶和中性表情。结果：该分类器在儿童情感面部表情（CAFE）全集上达到了66.9%平衡准确率和67.4% F1-score，在CAFE子集A（一个包含至少60%人类情绪标签一致性的子集）上达到79.1%平衡准确率和78% F1-score。该性能比所有先前针对CAFE评估的分类器至少高10%，其中最佳者即使在将“愤怒”与“厌恶”合并为一类时也仅达到56%平衡准确率。
引用
@article{arxiv.2012.08678,
title = {Improved Digital Therapy for Developmental Pediatrics Using Domain-Specific Artificial Intelligence: Machine Learning Study},
author = {Peter Washington and Haik Kalantarian and John Kent and Arman Husic and Aaron Kline and Emilie Leblanc and Cathy Hou and Onur Cezmi Mutlu and Kaitlyn Dunlap and Yordan Penev and Maya Varma and Nate Tyler Stockham and Brianna Chrisman and Kelley Paskov and Min Woo Sun and Jae-Yoon Jung and Catalin Voss and Nick Haber and Dennis Paul Wall},
journal= {arXiv preprint arXiv:2012.08678},
year = {2024}
}