Chat2Brain：一种将开放式语义查询映射到脑激活图的方法
计算与语言
2023-09-12 v1
摘要
数十年来，神经科学在文本模态上积累了大量可用于探索认知过程的研究成果。元分析是一种典型方法，利用这些研究成果成功建立了从文本查询到脑激活图的联系，但仍依赖于理想的查询环境。在实际应用中，用于元分析的文本查询可能遇到语义冗余与歧义等问题，导致向脑图像的不准确映射。另一方面，诸如ChatGPT之类的大语言模型（LLMs）在上下文理解与推理等任务中展现出巨大潜力，表现出与人类自然语言高度的一致性。因此，LLMs可改善文本模态与神经科学之间的联系，解决元分析的现有挑战。本研究中，我们提出一种称为Chat2Brain的方法，将LLMs与称为Text2Brain的基础文本到图像模型相结合，在数据稀缺与复杂查询环境下将开放式语义查询映射到脑激活图。通过利用LLMs的理解与推理能力，将文本查询转化为语义查询，从而优化映射模型的性能。我们证明Chat2Brain能够为更复杂的文本查询任务合成解剖学上合理的神经激活模式。
引用
@article{arxiv.2309.05021,
title = {Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps},
author = {Yaonai Wei and Tuo Zhang and Han Zhang and Tianyang Zhong and Lin Zhao and Zhengliang Liu and Chong Ma and Songyao Zhang and Muheng Shang and Lei Du and Xiao Li and Tianming Liu and Junwei Han},
journal= {arXiv preprint arXiv:2309.05021},
year = {2023}
}
备注
8 pages, 4 figures