TinyEmo：通过指标投影缩减情感推理
计算机视觉与模式识别
2025-02-17 v4
摘要
本文介绍TinyEmo，一族小型多模态语言模型，用于情感推理和分类。我们的方案包括：(1) 用于预训练和微调的合成情感指令数据集，(2) 能够将分类任务委托给语言模型的指标投影器，从而实现更高效的训练和推理，(3) 用于情感推理的多模态大型语言模型（MM-LLM），以及(4) 用于偏见检测的半自动化框架。TinyEmo能够在使用远少于参数的数量下完成情感分类和情感推理。这种效率使我们能够自由地纳入更加多样化的情感数据集，实现强大的分类性能，其中最小模型（700M参数）已超过基于通用型MM-LLM（参数超过7B）的更大SOTA模型。此外，指标投影器允许在无需额外训练的情况下对大型模型进行可解释性和间接偏见检测，提供一种理解和改进AI系统的方法。我们在https://github.com/ggcr/TinyEmo发布代码、模型和数据集。
关键词
引用
@article{arxiv.2410.07062,
title = {TinyEmo: Scaling down Emotional Reasoning via Metric Projection},
author = {Cristian Gutierrez},
journal= {arXiv preprint arXiv:2410.07062},
year = {2025}
}
备注
I am withdrawing this work in favour of the confidentiality of research ideas that are still under development.