通过复用预处理数据作为监督信号的对话分析迁移学习
计算与语言
2021-12-07 v1 机器学习
摘要
对话分析系统使用带噪声的人工标签进行训练，且常在多模态特征提取过程中需要繁重的预处理。在单任务学习中使用噪声标签会增加过拟合风险。辅助任务可改善同一训练过程中主任务学习的性能——该方法处于迁移学习与多任务学习（MTL）的交叉地带。在本文中，我们探究如何将用于特征工程的预处理数据复用为辅助任务，从而促进数据的有效利用。我们的主要贡献为：（1）识别出十六个有益的辅助任务，（2）研究主任务与辅助任务间学习容量的分配方法，以及（3）研究主任务与辅助任务间的相对监督层级。在 IEMOCAP 与 SEMAINE 数据上的大量实验验证了相较单任务方法的提升，并表明其可跨多个主任务泛化。
引用
@article{arxiv.2112.03032,
title = {Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors},
author = {Joshua Yee Kim and Tongliang Liu and Kalina Yacef},
journal= {arXiv preprint arXiv:2112.03032},
year = {2021}
}
备注
16 pages