基于动态权重适应的多任务学习联合分析声学场景与声音事件
声音
2022-06-22 v1 音频与语音处理
摘要
声学场景分类（ASC）与声音事件检测（SED）是环境声音分析中的主要课题。考虑到声学场景与声音事件彼此密切相关，一些先前工作提出了使用基于多任务学习（MTL）的神经网络对二者进行联合分析。传统方法采用ASC与SED损失函数以恒定权重的线性组合来训练基于MTL的模型。然而，传统基于MTL的方法性能强烈依赖于ASC与SED损失的权重，且难以确定ASC与SED的MTL损失间恒定权重的适当平衡。为此，本文提出基于动态权重平均与多焦点损失（multi-focal loss）的ASC与SED的MTL动态权重适应方法，以自动调整学习权重。使用TUT Acoustic Scenes 2016/2017与TUT Sound Events 2016/2017部分数据进行了评估实验，结果表明所提方法相较传统基于MTL的方法提升了场景分类与事件检测的性能表现。随后我们考察了随着模型训练推进，ASC与SED任务的学习权重如何动态适应。
引用
@article{arxiv.2206.10349,
title = {Joint Analysis of Acoustic Scenes and Sound Events Based on Multitask Learning with Dynamic Weight Adaptation},
author = {Kayo Nada and Keisuke Imoto and Takao Tsuchiya},
journal= {arXiv preprint arXiv:2206.10349},
year = {2022}
}
备注
Submitted to Acoustical Science and Technology