重构会议效果：基于时间粒度的自动会议效果评估基准与框架
计算与语言
2026-04-21 v1
摘要
评估会议效果对于提高组织生产力至关重要。当前方法依赖事后调查，仅给出整个会议的单一粗糙分数。依赖手动评估在可扩展性、成本和可重复性方面本质上受限。此外，单一分数未能捕捉协作讨论的动态本质。我们提出了一种新的评估会议效果范式，基于新颖准则和时间粒度方法。我们将效果定义为随时间推移的客观目标实现率，并针对会议中各个主题段落进行评估。为支持此任务，我们引入AMI会议效果(AMI-ME)数据集，包含来自130个AMI语料库会议的2459个人工标注段落。我们还开发了一个自动效果评估框架，使用大型语言模型(LLM)作为评判器，对每个段落相对于整个会议目标进行评分。在大量实验中，我们为这一新任务建立了全面的基准，并评估了框架在不同会议类型（从商业场景到非结构化讨论）中的通用性。此外，我们对从原始语音到端到端的性能进行了基准测试，以衡量完整系统的能力。我们的结果验证了该框架的有效性，并为会议分析和多方对话的未来研究提供了强大的基线。该数据集和代码将公开提供。AMI-ME数据集和自动评估框架可在本URL获取。
引用
@article{arxiv.2604.17260,
title = {Rethinking Meeting Effectiveness: A Benchmark and Framework for Temporal Fine-grained Automatic Meeting Effectiveness Evaluation},
author = {Yihang Li and Chenhui Chu},
journal= {arXiv preprint arXiv:2604.17260},
year = {2026}
}
备注
Accepted by ACL 2026 Main Conference