通过音乐与舞蹈符号学关联学习具身语义

音乐语义是具身的，即意义在生物学上由人体与大脑为中介并植根于此。这种具身认知视角也解释了为何音乐结构会调节运动与体感知觉。我们在统计计算模型中利用这一认知特性，将舞蹈视为音乐感知的代理，学习音乐音频与舞蹈视频之间的符号学关联。我们在一个跨模态检索任务中评估该模型有效捕捉底层语义的能力。经统计显著性检验验证的定量结果，强化了音乐中具身认知的证据体系，并表明该模型能为舞蹈视频查询推荐音乐音频，反之亦然。