从一对一对话中的面部表情检测听力损失
计算机视觉与模式识别
2024-01-18 v1
摘要
听力受损者在对话中会遇到困难,尤其是在嘈杂环境中。这种困难常表现为行为变化,并可能通过面部表情(如不适或疲惫的表情)被捕捉到。在这项工作中,我们基于这一想法,提出了从个体在对话中的面部表情检测听力损失的问题。构建能够表征与听力相关的面部表情变化的机器学习模型是一项挑战。此外,模型需要将与年龄相关的虚假关联从听力驱动的表情中解耦。为此,我们提出了一种专为表情变化建模而设计的自监督预训练策略。我们还使用对抗性表示学习来减轻年龄偏差。我们在一个包含听力损失受试者真实世界对话场景的大规模第一人称数据集上评估了我们的方法,结果表明我们的听力损失检测方法性能优于基线方法。
引用
@article{arxiv.2401.08972,
title = {Hearing Loss Detection from Facial Expressions in One-on-one Conversations},
author = {Yufeng Yin and Ishwarya Ananthabhotla and Vamsi Krishna Ithapu and Stavros Petridis and Yu-Hsiang Wu and Christi Miller},
journal= {arXiv preprint arXiv:2401.08972},
year = {2024}
}
备注
Accepted by ICASSP 2024