基于深度强化学习的质量感知多模态显著性检测
计算机视觉与模式识别
2018-11-28 v1
摘要
将多种模态信息纳入机器学习过程正成为新趋势。来自不同来源的数据无论异质或同质，都能提供比单一来源更多的信息。现有的基于深度学习的算法通常直接拼接各域特征以表示输入数据。它们很少考虑数据质量，而这是相关多模态问题中的关键。本文提出一种高效的质量感知深度神经网络，利用深度强化学习（DRL）对各域数据权重进行建模。具体而言，我们将各域加权视为决策问题，并教导智能体学习与环境交互。智能体可通过离散动作选择调整各域权重，并在显著性结果改善时获得正奖励。智能体的目标是在完成其序列动作选择后获得最大奖励。我们以由粗到细的方式在多模态显著性检测上验证所提算法。粗显著性图由以内容损失和对抗损失训练的编码器-解码器框架生成。最终结果可通过各域图的自适应加权获得。在两类显著性目标检测基准上的实验验证了我们所提质量感知深度神经网络的有效性。
引用
@article{arxiv.1811.10763,
title = {Quality-Aware Multimodal Saliency Detection via Deep Reinforcement Learning},
author = {Xiao Wang and Tao Sun and Rui Yang and Chenglong Li and Bin Luo and Jin Tang},
journal= {arXiv preprint arXiv:1811.10763},
year = {2018}
}