数据匮乏领域中深度多模态迁移学习回归
计算机视觉与模式识别
2020-06-17 v1 机器学习
摘要
在深度学习的许多实际应用中，对目标的估计可能依赖于各类输入数据模态，如音视频、图像-文本等。数据不足会进一步使该任务复杂化。本文提出一种深度多模态迁移学习回归器（DMTL-R），用于深度回归架构中图像与特征数据的多模态学习，可有效在数据匮乏领域预测目标参数。我们的模型能够在少量训练图像数据上微调给定的一组预训练CNN权重，同时在网络训练期间以互补数据模态的特征信息为条件，从而比单独使用图像或特征实现更准确的单目标或多目标回归。我们使用相场模拟微结构图像及配套物理特征集，借助多种知名CNN架构的预训练权重给出结果，证明了所提多模态方法的有效性。
引用
@article{arxiv.2006.09310,
title = {Deep Multimodal Transfer-Learned Regression in Data-Poor Domains},
author = {Levi McClenny and Mulugeta Haile and Vahid Attari and Brian Sadler and Ulisses Braga-Neto and Raymundo Arroyave},
journal= {arXiv preprint arXiv:2006.09310},
year = {2020}
}