ArtMentor：以AI辅助艺术品评估探索多模态大语言模型能力
人机交互
2025-02-20 v1
摘要
具备感知、识别、理解和推理能力的多模态大语言模型（MLLMs），能否在艺术评估对话中作为独立的助手？当前的 MLLM 评估方法依赖于主观的人工评分或昂贵的访谈，缺乏对各种场景的全面覆盖。本文提出一种面向过程的人机交互（HCI）空间设计，以促进更准确的 MLLM 评估与开发。该方法既帮助教师高效地进行艺术评估，也记录交互过程以用于 MLLM 能力评估。我们引入了 ArtMentor，一个集成了数据集和三个系统的综合空间，以优化 MLLM 评估。该数据集包含由五位艺术教师在九个关键维度上进行的 380 次对话。模块化系统包括用于实体识别、评论生成和建议生成的智能体，支持迭代升级。机器学习与自然语言处理技术确保了评估的可靠性。结果证实了 GPT-4o 在辅助教师进行艺术评估对话中的有效性。我们的贡献可在 https://artmentor.github.io/ 获取。
引用
@article{arxiv.2502.13832,
title = {ArtMentor: AI-Assisted Evaluation of Artworks to Explore Multimodal Large Language Models Capabilities},
author = {Chanjin Zheng and Zengyi Yu and Yilin Jiang and Mingzi Zhang and Xunuo Lu and Jing Jin and Liteng Gao},
journal= {arXiv preprint arXiv:2502.13832},
year = {2025}
}
备注
18 pages, 12 figures. Accepted by CHI 2025