基于动态联合损失权重的端到端多模态情绪与性别识别
机器学习
2018-10-03 v3 计算机视觉与模式识别
声音
音频与语音处理
机器学习
摘要
多任务学习是一种提升多个任务泛化能力的方法。为了用一个神经网络模型执行多个分类任务，应合并各任务的损失。以往研究多集中于使用带静态权重的联合损失进行多预测任务以训练模型，在设置任务间权重时未充分考量，采用统一或经验性设定。本研究提出一种使用动态权重计算联合损失的方法，以提升任务的总体性能而非单个性能。我们将该方法应用于设计使用音频和视频数据的端到端多模态情绪与性别识别模型。该方法在训练过程结束时为各任务的损失提供恰当权重。在我们的实验中，采用所提方法的情绪与性别识别产生的联合损失（以负对数似然计算）低于使用静态权重联合损失的情况。此外，我们提出的模型比其他模型具有更好的泛化能力。据我们所知，本研究首次展示了在情绪与性别识别任务中使用动态权重联合损失以最大化整体性能的优势。
引用
@article{arxiv.1809.00758,
title = {End-to-end Multimodal Emotion and Gender Recognition with Dynamic Joint Loss Weights},
author = {Myungsu Chae and Tae-Ho Kim and Young Hoon Shin and June-Woo Kim and Soo-Young Lee},
journal= {arXiv preprint arXiv:1809.00758},
year = {2018}
}
备注
IROS 2018 Workshop on Crossmodal Learning for Intelligent Robotics