转自：

第一个化学领域的开源多模态大语言模型：通过ChemVLM架起视觉与化学知识的桥梁-CSDN博客

文章来源：

https://arxiv.org/pdf/2408.07246

模型来源：

https://huggingface.co/AI4Chem/ChemVLM-26B

Code：

https://github.com/AI4Chem/ChemVlm

本文提出了ChemVLM，这是首个面向化学领域的开源多模态大型语言模型，旨在解决化学图像理解与文本分析之间的不兼容问题。该模型基于VIT-MLP-LLM架构，采用ChemLLM-20B作为基础大型模型，使模型在理解和利用化学文本知识方面具备了强大的能力。

此外，还采用了InternVIT-6B作为强大的图像编码器。从化学领域精心挑选了高质量数据，包括分子、反应式以及化学考试数据，并将这些数据编译成一个双语多模态问答数据集。

本文在多个开源基准测试集和三个自定义评估集上测试了模型的性能。实验结果表明，本文的模型表现优异，在六个相关任务中的五个任务中均达到了最先进水平。

ChemVLM 的整体架构和两阶段训练。ChemVLM 结合了先进的视觉转换器和富含化学知识的大型语言的优势，确保了多模态化学知识理解和推理的强大能力

ChemVLM 数据处理流程

关于ChemVLM 介绍文章的总结，请参考Phoenixtree_DongZhao的精彩总结：

第一个化学领域的开源多模态大语言模型：通过ChemVLM架起视觉与化学知识的桥梁-CSDN博客


 

Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

cover

YOLOv8【主干网络篇·第4节】LSKNet大核卷积遥感检测专用网络！

avatar 讯飞AI开发者社区

人工智能与大数据在2024年医疗健康领域的十大革命性应用场景

而匿名的患者大数据分享平台，则让患有相同疾病的患者能够交换“真实世界”的治疗经验和效果数据，形成宝贵的互助网络，为个体治疗决策提供了强大的社群支持，推动了以患者为中心的医疗模式发展。更重要的是，AI正在辅助设计更安全、高效的CRISPR基因编辑工具，预测编辑脱靶效应，加速基因治疗从基础研究走向临床应用的进程，为根治遗传性疾病开启了新的大门。同时，在供应链管理中，AI可预测药品和医疗物资的需求，实现

avatar 讯飞AI开发者社区

**发散创新：开源商业中的编程语言探索——以XX语言为例**在开源商业领域，编程语言的选择至关重

本文介绍了XX语言的特点及其在开源电商管理平台项目中的应用。通过实际案例，展示了XX语言在开源商业领域的优势。随着开源商业的不断发展，我们将继续探索更多编程语言在开源项目中的应用，为开发者提供更多有价值的参考。本文将带领大家了解XX语言的特点及其在开源项目中的应用。本文将深入探讨如何在开源项目中合理运用编程语言，并结合XX语言的特点，为大家展示一个充满创新的项目实例。XX语言是一种高效、易学、功能

avatar 讯飞AI开发者社区