找到正确的平衡点：评估方法分布在不同贡献类型中的系统性评估
人机交互
2025-09-05 v1
摘要
在快速发展的可视化信息领域，严格的评估对于验证新技术、理解用户交互以及Demonstrate可视化的有效性和可用性至关重要。忠实的评估提供了有价值的见解，帮助我们了解用户如何与系统进行交互并进行感知，从而使设计师能够识别潜在的弱点并作出明智的设计选择和改进。然而，单一研究中进行多次评估的这一新趋势提出了关于这种方法可持续性、可行性和方法论严谨性的关键问题。新的研究者和学生受到这一趋势的影响，可能认为—无论贡献类型如何—都需要进行多次评估。然而，研究中评估的次数应取决于其贡献和价值，而非纯粹为了加强论文而包含多次评估。那么，究竟需要多少次评估才足够呢？这是一个情境性问题，无法用公式来确定。我们的目标是总结当前的趋势和模式，以评估不同论文贡献类型中评估方法的分布。在本文中，我们通过对IEEE TVCG 2023和2024年最新两年VIS期刊中214篇论文中评估模式的非穷尽性文献调查来识别这一趋势。我们随后讨论了信息可视化领域中的各种评估策略模式，以指导实际选择，并指出本文将为进一步讨论开辨出路。
引用
@article{arxiv.2408.16080,
title = {Striking the Right Balance: Systematic Assessment of Evaluation Method Distribution Across Contribution Types},
author = {Feng Lin and Arran Zeyu Wang and Md Dilshadur Rahman and Danielle Albers Szafir and Ghulam Jilani Quadri},
journal= {arXiv preprint arXiv:2408.16080},
year = {2025}
}