迈向多模态MIR：从音乐诱发运动预测个体差异
机器学习
2021-06-22 v1 多媒体
机器学习
摘要
随着音乐信息检索(MIR)领域的发展，考量音乐的多模态性以及如何考虑音乐参与(如运动和手势)等方面十分重要。身体运动与音乐普遍相关，并反映出与音乐偏好相关的重要个体特征，如人格、情绪和共情。未来的多模态MIR系统可能受益于将这些方面纳入考虑。当前研究通过从参与者的自由舞蹈运动中识别个体差异(具体而言是大五人格特质以及共情与系统化商数(EQ/SQ)得分)来解决此问题。我们的模型成功探索了人格以及EQ、SQ的未知空间，其中后者此前未被实现。人格、EQ和SQ的R2分数分别为76.3%、77.1%和86.7%。作为后续，我们调查了哪些身体关节在定义这些特质中最为重要。我们讨论了进一步的研究如何探索这些特质到运动模式的映射可用于构建更个性化的多模态推荐系统，以及潜在的治疗应用。
引用
@article{arxiv.2007.10695,
title = {Towards Multimodal MIR: Predicting individual differences from music-induced movement},
author = {Yudhik Agrawal and Samyak Jain and Emily Carlson and Petri Toiviainen and Vinoo Alluri},
journal= {arXiv preprint arXiv:2007.10695},
year = {2021}
}
备注
Appearing in the proceedings of the 21st International Society for Music Information Retrieval Conference (ISMIR 2020) (camera-ready version)