用于计数的卷积网络:钢鼓中瞬态现象的目标检测
计算机视觉与模式识别
2024-06-19 v2 机器学习
应用物理
仪器与探测器
摘要
我们训练了一个由卷积神经网络构建的目标检测器,用于计数加勒比钢鼓瞬态振荡高速视频帧中椭圆波腹区域内由电子散斑图案干涉术(ESPI)照明的干涉条纹。我们的模型所提供的标注旨在通过追踪 sympathetic 振动模态的发展,有助于理解此类鼓中的时间依赖行为。该系统在来自Zooniverse Steelpan Vibrations Project的众包人工标注图像数据集上训练。由于人工标注图像数量少且标注任务存在歧义,我们还在通过使用生成对抗网络(Generative Adversarial Network)风格迁移将属性匹配到真实图像的大型合成图像语料库上评估了模型。将模型应用于数千个未标注视频帧,我们测得的振荡与这些鼓击的音频记录一致。一个未预期的结果是,高八度音的 sympathetic 振荡显著先于相应二次谐波音的音强上升;造成此现象的机制仍未被识别。本文主要关注预测模型的开发;对钢鼓图像的进一步探索和更深物理见解有待其进一步应用。
引用
@article{arxiv.2102.00632,
title = {ConvNets for Counting: Object Detection of Transient Phenomena in Steelpan Drums},
author = {Scott H. Hawley and Andrew C. Morrison},
journal= {arXiv preprint arXiv:2102.00632},
year = {2024}
}
备注
13 pages, 9 figures, accepted for J. Acous. Soc. Am. (JASA) Special Issue on Machine Learning in Acoustics