Unity（5.5.1f1版本）中音视频电影刺激同步：游戏引擎作为研究工具
音频与语音处理
2019-07-12 v1 多媒体
声音
图像与视频处理
摘要
Unity是专为电子游戏开发设计的软件。然而，由于其编程可能性与架构的多用途性，它可证明是研究实验中刺激呈现的通用工具。不过，它也有一些局限与条件需加以考虑，以在特定实验情境中确保最佳性能。若我们想在包含与实时视频和音频播放同步的生物信号采集的实验设计中用它，便是如此。本文中，我们分析Unity（5.5.1f1版本）在需要执行音视频材料的此类实验设计中的反应。从按标准软件规范执行视频的实验过程分析，我们检测到以下问题：视频与音频发射间不同步；临时计数器与视频间不同步；截图执行延迟；以及取决于视频编码的播放流畅性差，虽保持总播放时间，却导致Unity冻结帧并以视频中小幅临时跳跃补偿。最后，在检测所有问题后，设计了一种补偿与验证流程，以能在Unity（5.5.1f1版本）中精确处理音视频材料。我们提出一个检查与补偿协议，可解决这些问题以确保可靠性方面的稳健实验执行。
引用
@article{arxiv.1907.04926,
title = {Synchronizing Audio-Visual Film Stimuli in Unity (version 5.5.1f1): Game Engines as a Tool for Research},
author = {Javier Sanz and Andreas Wulff-Abramsson and Carlos Aguilar-Paredes and Luis Emilio Bruni and Lydia Sanchez},
journal= {arXiv preprint arXiv:1907.04926},
year = {2019}
}
备注
13 Pages