跨视觉、听觉和触觉的多感官整合与感官替代：在研究方案中的What、Which与When问题
人机交互
2025-07-25 v1 神经元与认知
摘要
我们通过多种感官共同工作，无论是在日常生活中还是在沉浸式技术中，都能创建连贯的感知体验。理解这种多感官整合（Multisensory Integration, MSI）需要考察不同感官模态之间的相互作用，每种模态都具有独特的时序动态和特征。虽然大多数研究关注单感官或双感官线索，但三种以上模态的整合仍属underexplored领域。MSI研究必须考虑跨模态对应性、一致性、认知负荷和刺激时序等因素，这些因素随感官模态数量的增加而变得越来越复杂。本文检讨了这些关键因素及其如何应用于设计有效MSI研究方案的8个方面。
引用
@article{arxiv.2507.18401,
title = {Multisensory Integration and Sensory Substitution Across Vision, Audition, and Haptics: Answering the What, Which, and When in Study Protocols},
author = {Andrew Jeyathasan and Swati Banerjee},
journal= {arXiv preprint arXiv:2507.18401},
year = {2025}
}