人工刚性对比生物噪声：AV-HuBERT 与人类观察者多感官整合的比较分析
计算与语言
2026-01-23 v1 人工智能
摘要
本研究通过将 AV-HuBERT 对不一致视听刺激（麦格克效应）的反应与人类观察者（N=44）进行基准测试，评估了其感知生物保真度。结果揭示了一个惊人的定量同构性：人工智能和人类表现出几乎相同的听觉主导率（32.0% 对比 31.8%），表明该模型捕捉到了听觉抵抗的生物阈值。然而，AV-HuBERT 显示出对语音融合的确定性偏差（68.0%），显著超过人类比率（47.7%）。人类表现出感知随机性和多样化的错误模式，而模型则保持严格的分类性。研究结果表明，当前的自监督架构模拟了多感官结果，但缺乏人类语音感知固有的神经变异性。
引用
@article{arxiv.2601.15869,
title = {Artificial Rigidities vs. Biological Noise: A Comparative Analysis of Multisensory Integration in AV-HuBERT and Human Observers},
author = {Francisco Portillo López},
journal= {arXiv preprint arXiv:2601.15869},
year = {2026}
}
备注
18 pages, 6 figures