D&M：通过关键时刻检测和音效匹配丰富电子商务视频中的音效
计算机视觉与模式识别
2025-03-21 v3
摘要
展示特定产品的视频在电子商务中日益重要。关键时刻自然存在于特定产品首次出现、其独特特征展示、购买链接出现等情境中。为这些关键时刻添加恰当的音效（SFX），或进行视频装饰（VDSFX），对于增强用户参与体验至关重要。先前关于添加音效的研究在整体层面进行视频到音效匹配，缺乏针对特定时刻添加音效的能力。与此同时，关于视频高亮检测或视频时刻检索的先前研究仅考虑时刻局化，未涉及时刻到音效匹配。相反，本文提出D&M方法，同时完成关键时刻检测和时刻到音效匹配。此外，为新任务构建大规模数据集SFX-Moment。为公平比较，我们通过扩展多个当前视频时刻检测方法到新任务，构建竞争性基线。大量实验表明，所提出方法在SFX-Moment数据集上的表现优于基线。
引用
@article{arxiv.2408.13226,
title = {D&M: Enriching E-commerce Videos with Sound Effects by Key Moment Detection and SFX Matching},
author = {Jingyu Liu and Minquan Wang and Ye Ma and Bo Wang and Aozhu Chen and Quan Chen and Peng Jiang and Xirong Li},
journal= {arXiv preprint arXiv:2408.13226},
year = {2025}
}
备注
Accepted by AAAI 2025