基于深度典型相关分析的多模态情感分析
信息检索
2019-07-23 v1 计算与语言
机器学习
机器学习
摘要
本文从文本、音频和视频数据视图/模态中学习多模态嵌入，以改进下游情感分类。该实验框架还允许考察各单独视图在最终多模态嵌入中的相对贡献。从三个视图导出的个体特征通过深度典型相关分析（DCCA）以两种方式组合为多模态嵌入：i) 一步式 DCCA 和 ii) 两步式 DCCA。本文使用当前文本编码器中最先进的 BERT 学习文本嵌入。我们假定这一高度优化的算法主导了其他视图的贡献，尽管每个视图确实对最终结果有所贡献。分类任务在两个基准数据集和一个新的辩论情感数据集上进行，这些共同表明一步式 DCCA 在学习多模态嵌入方面优于当前最先进水平。
引用
@article{arxiv.1907.08696,
title = {Multi-modal Sentiment Analysis using Deep Canonical Correlation Analysis},
author = {Zhongkai Sun and Prathusha K Sarma and William Sethares and Erik P. Bucy},
journal= {arXiv preprint arXiv:1907.08696},
year = {2019}
}