用户如何体验直播电视的隐藏字幕：质量指标仍然是一个挑战
人机交互
2024-05-16 v1
摘要
本文提出了一项混合方法研究，探讨聋哑、听障和听力正常观众如何感知直播电视字幕质量，使用模拟电视字幕体验的字幕视频刺激。为评估字幕质量，我们使用了四种常用的质量指标，侧重于准确性：词错误率、加权词错误率、自动字幕评估（ACE）及其后继者ACE2。我们计算了四种质量指标与观众主观质量评分之间的相关性，发现相关性较弱，表明除准确性外还有其他因素影响用户评分。此外，即使高质量的字幕也被认为存在问题，尽管控制了混杂因素。对观众评论的定性分析揭示了影响其体验的三个主要因素：字幕中的错误、难以跟上字幕以及字幕外观。这些发现提出了如何将客观字幕质量指标与不同观众群体的用户体验相协调的问题。
引用
@article{arxiv.2404.10153,
title = {How Users Experience Closed Captions on Live Television: Quality Metrics Remain a Challenge},
author = {Mariana Arroyo Chavez and Molly Feanny and Matthew Seita and Bernard Thompson and Keith Delk and Skyler Officer and Abraham Glasser and Raja Kushalnagar and Christian Vogler},
journal= {arXiv preprint arXiv:2404.10153},
year = {2024}
}
备注
To appear in Proceedings of the Conference on Human Factors in Computing Systems CHI 24, May 11-16, Honolulu, HI, USA, 16 pages. https://doi.org/10.1145/3613904.3641988