这样做,本地5分钟就能轻松部署与使用最新AI大模型(2G显存亲测可用)
在AI技术的浪潮中,每个人都不甘落后。Qwen已经出到2.5了,上次我源码部署还是Qwen1.5。一直以来,部署和搭建环境都耗时耗力,最近试用了Ollama,作为一款新兴的AI模型搭建神器,10分钟就能本地搭建好Qwen2.5的大语言模型并使用,真的让我赞叹。本文将带你一步步了解如何下载、安装以及使用Ollama,让你在AI的世界里畅游无阻。
在AI技术的浪潮中,每个人都不甘落后。
Qwen已经出到2.5了,上次我源码部署还是Qwen1.5。
一直以来,部署和搭建环境都耗时耗力,最近试用了Ollama,作为一款新兴的AI模型搭建神器,10分钟就能本地搭建好Qwen2.5的大语言模型并使用,真的让我赞叹。
本文将带你一步步了解如何下载、安装以及使用Ollama,让你在AI的世界里畅游无阻。
快速下载与安装Ollama
此处耗时3-5分钟,因您的网络而异,如果不好下载,可以搜索github加速或ollama加速
首先,访问Ollama的官方网站,你将看到一个简洁的下载页面。页面上不仅有下载链接,还有注册提醒,让你不错过任何更新。
下载完成后,你只需耐心等待安装程序完成安装。安装过程简单快捷,一路next即可。
完成后,可以通过两种方式启动Ollama:
-
1. 打开浏览器,访问
http://127.0.0.1:11434
。 -
-
2. 或者,在命令行中输入
ollama serve
命令。
安装qwen2.5模型
接下来,让我们尝试安装Ollama支持的大语言模型——qwen2.5。
它提供了0.5b的开源版本,这个模型非常适合初次尝试Ollama的用户。(仅300多MB的模型,对计算机配置的要求极低)
你可以通过以下命令来运行qwen2.5模型:
ollama run qwen2.5:0.5b
修改模型下载路径
默认情况下,模型会被下载到C:\Users\wbigo\.ollama\models
路径下。如果你想要修改这个路径,可以通过添加系统环境变量OLLAMA_MODELS来实现。
启动qwen2.5模型
一旦模型安装完成,你就可以启动它了。启动后的界面简洁明了,如图所示。
调用Ollama模型
启动后的对话框可以直接进行命令行聊天
当然Ollama提供了丰富的API接口,让你可以轻松地在你的Python代码中调用它。以下是一个简单的示例:
from openai import OpenAI client = OpenAI( base_url='http://localhost:11434/v1/', api_key='ollama', # 此参数为必需,但会被忽略 ) chat_completion = client.chat.completions.create( messages=[ { 'role': 'user', 'content': '请告诉我你是谁,能力如何', } ], model='qwen2.5:0.5b', )
性能与适用性
qwen2.5模型在配置较低的电脑上也能流畅运行,显存占用不到2GB。如果你的电脑拥有更强大的显卡,那么运行更大的模型将带来更出色的体验。
Ollama的易用性和强大的功能,无疑为AI爱好者和专业人士提供了一个全新的选择。无论你是想要探索AI的奥秘,还是需要一个强大的工具来辅助你的工作,Ollama都是一个值得尝试的选择。赶快下载并体验吧!
那么,如何系统的去学习大模型LLM?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~
篇幅有限,部分资料如下:
👉LLM大模型学习指南+路线汇总👈
💥大模型入门要点,扫盲必看!
💥既然要系统的学习大模型,那么学习路线是必不可少的,这份路线能帮助你快速梳理知识,形成自己的体系。
路线图很大就不一一展示了 (文末领取)
👉大模型入门实战训练👈
💥光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉国内企业大模型落地应用案例👈
💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例,这些案例覆盖了金融、医疗、教育、交通、制造等众多领域,无论是对于大模型技术的研究者,还是对于希望了解大模型技术在实际业务中如何应用的业内人士,都具有很高的参考价值。 (文末领取)
👉GitHub海量高星开源项目👈
💥收集整理了海量的开源项目,地址、代码、文档等等全都下载共享给大家一起学习!
👉LLM大模型学习视频👈
💥观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。 (文末领取)
👉640份大模型行业报告(持续更新)👈
💥包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
👉获取方式:
这份完整版的大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓
更多推荐
所有评论(0)