探索多模态动力学：生物医学任务中多模态融合的洞察与挑战
机器学习
2024-11-04 v1
摘要
本文研究了 Han 等人（2022）提出的用于生物医学分类任务中多模态融合的 MM dynamics 方法。MM dynamics 算法整合特征级和模态级信息性来动态融合模态以提升分类性能。然而，我们的分析揭示了复制和扩展 MM dynamics 结果的若干局限性和挑战。我们发现特征信息性提升了性能和可解释性，而模态信息性并未提供显著优势，甚至可能导致性能下降。基于这些结果，我们将特征信息性扩展到了图像数据，从而发展出了 Image MM dynamics。尽管该方法展现了有前景的定性结果，但在定量上并未超越基线方法。
引用
@article{arxiv.2411.00725,
title = {Exploring Multi-Modality Dynamics: Insights and Challenges in Multimodal Fusion for Biomedical Tasks},
author = {Laura Wenderoth},
journal= {arXiv preprint arXiv:2411.00725},
year = {2024}
}