DAIRHuM:用于直接对齐AI表示与人类音乐判断的平台,应用于卡尔纳特音乐
声音
2024-11-25 v1 人工智能
音频与语音处理
摘要
量化和对齐音乐AI模型表示与人类行为是MIR领域的重要挑战。本文提出了用于探索AI音乐模型表示与人类音乐判断直接对齐平台(DAIRHuM)。该平台旨在使音乐家和实验者能够对音乐录音中的相似性进行标记,并通过定量分数和可视化图表来检验预训练模型与其标签的对齐程度。将DAIRHuM应用于分析NSynth表示与卡尔纳特音乐四重奏 ensemble 中两个打击乐手的节奏二重奏之间的对齐情况——这是一种数据标注稀缺且评估对齐性非平凡的音乐流派示例。结果表明,在人类节奏和声感知以及卡尔纳特音乐特有的音乐相似性判断方面,模型与人类判断之间存在显著差异。该工作是首次使用户能够探索卡尔纳特音乐中人类与AI模型对齐的努力,同时应对数据稀缺和文化特异性问题,推动印度音乐MIR研究的发展。该平台的开发为 underrepresented 音乐流派提供了更大的AI音乐工具可访问性。
引用
@article{arxiv.2411.14907,
title = {DAIRHuM: A Platform for Directly Aligning AI Representations with Human Musical Judgments applied to Carnatic Music},
author = {Prashanth Thattai Ravikumar},
journal= {arXiv preprint arXiv:2411.14907},
year = {2024}
}
备注
4 Pages, ICASSP workshop submission