基于计算机视觉的虚拟钢琴
计算机视觉与模式识别
2019-10-29 v1
摘要
在本研究中，钢琴演奏仅基于视觉信息进行分析。计算机视觉算法，例如 Hough 变换和二值阈值化，已被应用于定位键盘和特定按键的位置。同时，卷积神经网络（CNNs）也被用于仅基于视觉信息判断特定按键是否被按下以及按下的力度大小。特别是在检测力度时，设计了一种利用空间、时间 CNNs 模型的新方法。早期融合技术特别应用于时间 CNNs 架构中以分析手部运动。我们还制作了一个新的数据集用于训练各个模型。特别是在寻找被按按键的力度时，同时使用视频帧及其光流图像来训练模型以验证有效性。
引用
@article{arxiv.1910.12539,
title = {Virtual Piano using Computer Vision},
author = {Seongjae Kang and Jaeyoon Kim and Sung-eui Yoon},
journal= {arXiv preprint arXiv:1910.12539},
year = {2019}
}