一种从多模态数据中提取信息性特征的高效方法
机器学习
2019-09-24 v2 机器学习
摘要
多模态特征提取的一个主要焦点是寻找各模态间最大相关的表示。作为著名的依赖性度量，Hirschfeld-Gebelein-R\'{e}nyi（HGR）最大相关因其操作意义与良好性质而成为引人注目的目标。然而，HGR 最大相关中形式化的严格白化约束限制了其应用。为解决该问题，本文提出 Soft-HGR，一种从多模态数据中提取信息性特征的新框架。具体而言，我们的框架避免了“硬”白化约束，同时保留与 HGR 最大相关中相同的特征几何。Soft-HGR 的目标直接明了，仅涉及两个内积，这保证了优化的效率与稳定性。我们进一步将框架推广至处理多于两种模态及缺失模态的情况。当标签部分可用时，我们通过半监督自适应增强特征表示的判别力。实证评估表明，我们的方法学到了更具信息性的特征映射且优化更高效。
引用
@article{arxiv.1811.08979,
title = {An Efficient Approach to Informative Feature Extraction from Multimodal Data},
author = {Lichen Wang and Jiaxiang Wu and Shao-Lun Huang and Lizhong Zheng and Xiangxiang Xu and Lin Zhang and Junzhou Huang},
journal= {arXiv preprint arXiv:1811.08979},
year = {2019}
}
备注
accepted to AAAI 2019, 8 pages; typos corrected