双曲视听零样本学习
计算机视觉与模式识别
2023-12-19 v2
摘要
视听零样本学习旨在对由成对音频与视频序列组成、且训练时未出现的类别样本进行分类。对视听数据的分析揭示了较大程度的双曲性，表明使用双曲变换实现曲率感知几何学习具有潜在益处，以探索该任务中更复杂层次化数据结构。所提方法采用一种新颖损失函数，在双曲空间中融入视频与音频特征间的跨模态对齐。此外，我们探索了双曲投影中多自适应曲率的使用。在该极具挑战性任务上的实验结果表明，我们提出的双曲零样本学习方法在VGGSound-GZSL、UCF-GZSL和ActivityNet-GZSL三个数据集上优于SOTA方法，调和均值（HM）分别提升约3.0%、7.0%和5.3%。
引用
@article{arxiv.2308.12558,
title = {Hyperbolic Audio-visual Zero-shot Learning},
author = {Jie Hong and Zeeshan Hayder and Junlin Han and Pengfei Fang and Mehrtash Harandi and Lars Petersson},
journal= {arXiv preprint arXiv:2308.12558},
year = {2023}
}
备注
ICCV 2023