微笑与笑声检测的新视角：强度级别的重要性
计算机视觉与模式识别
2024-03-05 v1
摘要
在过去十年中，微笑和笑声检测系统引起了广泛关注，促进了人机交互系统的改进。但很少有研究将这两种表情视为不同的实体，尽管此前没有工作明确证明它们是否属于同一类别。在本工作中，我们提出了一种基于深度学习的多模态微笑与笑声分类系统，将它们视为两个不同的实体。我们比较了音频与视觉模型的使用以及一种融合方法。我们表明，正如预期的那样，融合在未见数据上带来了更好的泛化能力。我们还对这些模型在微笑和笑声强度级别上的行为进行了深入分析。对强度级别的分析表明，微笑与笑声之间的关系可能并非简单的二元关系，甚至不能归为单一类别，因此在处理它们时应采取更复杂的方法。我们还通过展示迁移学习允许模型改进对易混淆强度级别的检测，从而解决了资源有限的问题。
引用
@article{arxiv.2403.02112,
title = {A New Perspective on Smiling and Laughter Detection: Intensity Levels Matter},
author = {Hugo Bohy and Kevin El Haddad and Thierry Dutoit},
journal= {arXiv preprint arXiv:2403.02112},
year = {2024}
}