STORM：面向稀有事件分类的模态策略性编排
计算机视觉与模式识别
2024-12-05 v1
摘要
在生物医学等领域，专家见解对于为人工智能（AI）方法选择信息量最大的模态至关重要。然而，使用所有可用模态会带来挑战，尤其是在确定每种模态对性能的影响以及优化其组合以实现准确分类方面。传统方法依赖于手动试错，缺乏系统性的框架来识别最相关的模态。此外，尽管多模态学习能够整合来自不同来源的信息，但利用所有可用模态往往既不切实际也无必要。为解决这一问题，我们提出了一种基于熵的算法STORM，用于解决稀有事件的模态选择问题。该算法系统地评估单个模态及其组合的信息内容，识别出对稀有类别分类任务至关重要的最具判别性的特征。通过癫痫发作起始区检测的案例研究，我们证明了该算法在提升分类性能方面的有效性。通过选择有用的模态子集，我们的方法为更高效的AI驱动的生物医学分析铺平了道路，从而推动临床环境中的疾病诊断。
引用
@article{arxiv.2412.02805,
title = {STORM: Strategic Orchestration of Modalities for Rare Event Classification},
author = {Payal Kamboj and Ayan Banerjee and Sandeep K. S. Gupta},
journal= {arXiv preprint arXiv:2412.02805},
year = {2024}
}
备注
Accepted in IEEE Asilomar Conference on Signals, Systems, and Computers, 2024