Tokensome：面向可解释与认知核型分析的遗传视觉-语言 GPT
计算机视觉与模式识别
2024-03-19 v1 人工智能
摘要
自动核型分析通常被定义为仅关注染色体对象级建模的视觉感知任务。这一定义导致大多数现有方法忽略了组成和整体信息，显著限制了模型性能。此外，当前技术缺乏可解释性，阻碍了其临床应用。在本文中，我们介绍了 Tokensome，这是一种基于染色体词元化的新型视觉-语言模型，用于可解释和认知核型分析。Tokensome 将方法从传统的视觉感知层提升至认知决策层。这种提升使得能够通过知识图谱和 LLM 集成领域知识和认知推理，显著增强了模型的可解释性并促进了异常检测。
引用
@article{arxiv.2403.11073,
title = {Tokensome: Towards a Genetic Vision-Language GPT for Explainable and Cognitive Karyotyping},
author = {Haoxi Zhang and Xinxu Zhang and Yuanxin Lin and Maiqi Wang and Yi Lai and Yu Wang and Linfeng Yu and Yufeng Xu and Ran Cheng and Edward Szczerbicki},
journal= {arXiv preprint arXiv:2403.11073},
year = {2024}
}
备注
Preprint. Work in progress