CogME：一种受认知启发、用于故事理解的多维评估指标
计算机视觉与模式识别
2024-05-21 v3 人工智能
摘要
我们介绍了CogME，一种受认知启发、专为聚焦故事理解的AI模型设计的多维评估指标。CogME是一个基于人类思维策略与涉及故事理解的故事要素的框架。通过对问题的具体拆解，该方法提供了细致入微的评估，不仅揭示AI模型特定的优势与劣势，也揭示基准数据集的特征。我们在DramaQA数据集上的案例研究展示了对模型与基准数据集的精细化分析。我们认为需要基于理解任务本质、并旨在与人类认知过程紧密对齐的指标。该方法提供了超越传统总体分数的洞察，并为针对更高认知功能的更精细AI开发铺平了道路。
引用
@article{arxiv.2107.09847,
title = {CogME: A Cognition-Inspired Multi-Dimensional Evaluation Metric for Story Understanding},
author = {Minjung Shin and Seongho Choi and Yu-Jung Heo and Minsu Lee and Byoung-Tak Zhang and Jeh-Kwang Ryu},
journal= {arXiv preprint arXiv:2107.09847},
year = {2024}
}
备注
9 pages with 4 figures and 3 tables. This work has been accepted for presentation as a poster with full paper publication at CogSci 2024. This is the final submission