小白能看懂的AI大模型系列-本地部署（LMDeploy国产开源工具），大模型入门到精通，收藏这篇就足够了！
这里给大家一款国产的大模型部署框架：LMDeploy，它是由上海人工智能实验室牵头开发的。
上一篇文章，给大家介绍了基于VLLM框架的大模型本地部署，它其实也很好用，开发者是加州大学。在现在全国信创、国产化替代的背景下，除了国外的开源项目，这里给大家一款国产的大模型部署框架：LMDeploy，它是由上海人工智能实验室牵头开发的。
LMDeploy的优势主要有以下几点：
1.性能优秀：它的显存优化其实是优于vllm的，并且康师傅在使用过程中发现，它不是吹牛逼，而是真的比vllm效果好；
2.国产化开发项目：由上海人工智能实验室牵头研发。众所周知，大模型相关的工具，和数据集的语言息息相关。简单来说，大模型最后落地使用，和用户的使用语言息息相关。vllm在英语的使用环境下肯定很优秀，但是在中文的使用环境下，基于中文数据集（他家的数据集里还有数学、物理、化学、语文的高考题目
）所开发的大模型开源工具，肯定是更适合我们使用的，同时支持华为昇腾平台，如果是在信创项目里，那它的优势更大了；
3.全链条体系：从我们大模型的应用角度出发，大模型的全链条为数据集-微调工具、部署框架、模型评测工具。这家公司全链条都有自己的产品，所以如果选择LMDeploy（部署框架），那整个产品线你都可以使用他们家的。
4.实力强悍：这家实验室不说全中国最强，那也是全国排名前列的存在，给大家看看他家的简介，真的很牛逼；
介绍结束，下面给大家具体讲一下如何使用LMDeploy部署大模型。
服务器配置：autodl租赁的云服务器，pytorch2.5.1，python3.12，cuda12.4，显卡RTX4090；
大模型：DeepSeek1.5B模型；
部署框架：LMDeploy（书生浦语系列）
1.LMDeploy中文文档
使用任何的大模型开源工具，一定要先从官方的中文文档开始，因为现在还是大模型的“日新月异”阶段，各个开源工具的更新频率很高，一定要关注中文文档里的环境配置要求。以LMDeploy为例，其官方中文文档地址为：“https://lmdeploy.readthedocs.io/zh-cn/latest/”，官方的中文文档界面一般长这样。
2.安装LMDeploy
2.1删除“vllm”虚拟环境
因为LMDeploy安装也需要配置各种包，所以建议大家还是在虚拟环境中进行安装。康师傅之前的服务器中新建了一个虚拟环境“vllm”，先使用“conda info --envs”查看服务器中所有的虚拟环境，这里我的系统盘已经42%，所以先使用“conda remove -n vllm --all”彻底删除之前安装的虚拟环境。
2.2新建“LMDeploy”虚拟环境
使用命令“conda create -n LMDeploy python=3.12 -y”创建虚拟环境，如图所示，虚拟环境创建完毕：
使用命令“source activate LMDeploy”激活虚拟环境并进入。
2.3安装LMDeploy开源框架
根据中文文档里的介绍，使用“pip install lmdeploy”命令安装lmdeploy，这个安装时间比较久，康师傅大概装了2h。
2.4使用模型
根据中文文档里的介绍，使用“lmdeploy serve api_server internlm/internlm2_5-7b-chat”命令调用模型。这个命令分两部分，前面的为调用命令，后面为你要使用模型在云服务器上的绝对路径。
查看模型的绝对路径：当时康师傅下载模型的时候，将模型放在了云服务器上的“LLM”文件夹，找到模型所在文件夹，右键选择复制路径，此时复制的路径为绝对路径：
使用命令“lmdeploy serve api_server /root/autodl-tmp/.autodl/LLM/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B”后台加载模型，加载成功后可以看到模型的开放端口23333。
加载成功后，新开一个端口，还用之前的那个多轮对话文件，改一下它的端口号，然后和它扯一扯，结果如下，大家可以试下，成功即可。
以上，就是以国产部署框架LMDeploy的大模型调用，比较简单，大家有空可以试一试，亲手操作一下，练完了，记得将autodl的云服务器关闭，要不然会一直扣费。
模型的下载和常用的公司级部署框架已经给大家介绍好了，下一篇康师傅会带大家使用模型微调工具对开源的模型进行微调，工具有2种，一个是书生浦语系列的XTuner，另一个具有可视化界面的llamafactory。微调主要是用来更改模型的身份认知已经量化。简单来说：
身份认知微调：做完模型身份认知微调之后，你问模型你是谁开发的，谁做的，它可以按照你的要求进行回复，如下图所示：
量化：大白话就是压缩模型。其实我们的很多专业化大模型应用，使用不到满血版的大模型，比如DeepSeek满血版大概700多GB，真正部署需要服务器集群，针对某一行业、某个部门，其实14B左右，甚至7B的量化模型就足够使用。所以通过量化，将大模型通过qlora量化方式，压缩到8位或者4位模型，方便轻量化部署。
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？
别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
三、路线必明：AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
技术共进，成长同行——讯飞AI开发者社区
更多推荐
10
0- 0
已为社区贡献133条内容
所有评论(0)