ollama是一个大模型的运行容器,本地的大模型需要装在这里面才能运行。

从官网上下载:Ollama,安装非常傻瓜,直接install就可以了

ollama没有图形化界面,只会在后台运行,浏览器输入localhost:11434可以看见ollama is running

官方教程如下: 

ollama/README.md at main · ollama/ollama · GitHub

Ollama 运行模型

Ollama 运行模型使用 ollama run 命令。

例如我们要运行 Llama 3.2 并与该模型对话可以使用以下命令:

ollama run llama3.2

执行以上命令如果没有该模型会去下载 llama3.2 模型

等待下载完成后,我们在终端中,输入以下命令来加载 LLama3.2 模型并进行交互:

writing manifest 
success 
>>> 你好
Hello

>>> 能讲中文吗
是的,我可以在 Chinese 中对話。哪些话题或问题想要了解我呢?

结束对话可以输入 /bye 或按 Ctrl+d 按键来结束。

我们可以使用 ollama list,查看已安装的模型:

NAME           ID              SIZE      MODIFIED      
llama3.2    baf6a787fdff    1.3 GB    4 minutes ago  

Ollama 支持的模型可以访问:library

更改模型存放位置

打开 Windows 系统设置,来到【关于】,在右边找到【高级系统设置】,然后会出现一个【系统属性】窗口。

在上面的标签里选择【高级】,再点击下方的【环境变量】。

这时弹出一个【环境变量】窗口,点击【系统变量】下的新建,然后又弹出一个窗口。

变量名:OLLAMA_MODELS

变量值:D:\AI\Ollama

 参考链接:

Ollama:从入门到进阶

Ollama 教程 | 菜鸟教程

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐