为何现有多模态人群计数数据集会导致真实世界应用中的预期落空
计算机视觉与模式识别
2023-04-14 v1
摘要
更多信息能带来更好的决策与预测，对吧？若干研究证实了这一假设，认为同时使用光学图像与热成像图像可在人群计数中实现更好的预测。然而，多模态模型如何从两种模态中提取增强特征尚不完全清楚。由于使用多模态数据通常会增加模型的复杂度、推理时间与内存需求，考察多模态相较于单模态模型的差异与优势具有重要意义。本文使用所有可用的多模态人群计数数据集，研究单模态与多模态模型之间的差异。为此，我们设计了一种考虑当前单模态人群计数研究进展的单模态架构。此外，采用不同多模态学习策略开发了若干多模态架构。多模态架构中也使用了单模态架构的关键组件，以回答多模态模型是否在总体上于人群计数中表现更优。令人惊讶的是，现有数据集无法推导出该问题的普适答案。我们发现现有数据集存在对热成像图像的偏向，这是通过分析光学图像亮度与人群数量的关系以及检查各数据集的标注确定的。由于回答该问题对人群计数未来真实世界应用十分重要，本文确立了适于回答多模态模型是否在总体上表现更优的潜在数据集的评判标准。
引用
@article{arxiv.2304.06401,
title = {Why Existing Multimodal Crowd Counting Datasets Can Lead to Unfulfilled Expectations in Real-World Applications},
author = {Martin Thißen and Elke Hergenröther},
journal= {arXiv preprint arXiv:2304.06401},
year = {2023}
}