竖屏模式下的视频识别

新数据集的创建往往会给视频识别带来新的挑战，并在应对这些挑战时激发新颖的构想。虽然现有数据集主要由横屏视频组成，但本文旨在向研究社区引入竖屏视频，并强调与此视频格式相关的独特挑战。随着智能手机和社交媒体应用的日益普及，竖屏视频识别变得愈发重要。为此，我们开发了首个专用于竖屏视频识别的数据集，即 PortraitMode-400。PortraitMode-400 的分类体系是以数据驱动的方式构建的，包含 400 个细粒度类别，并实施了严格的质量保证以确保人工标注的准确性。除了新数据集外，我们还全面分析了视频格式（竖屏与横屏）对识别准确率的影响以及不同格式导致的空间偏差。此外，我们设计了大量实验来探索竖屏视频识别的关键方面，包括数据增强的选择、评估流程、时间信息的重要性以及音频模态的作用。基于我们实验结果的见解以及 PortraitMode-400 的引入，本文旨在激发这一新兴研究领域的进一步研究工作。