Ollama 安装

1、在线安装(由于国内github的原因安装比较慢,预计2个小时内)

curl -fsSL https://ollama.com/install.sh | sh

2、 通过Ollama安装

ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q4
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16
qwen:7b

3、 通过Ctrl+D 退出默认的通讯

3、修改端口号(为了方便管理,同时也为了其他服务可以调用)

#停止ollama服务
systemctl stop ollama
#修改ollama配置
vi /etc/systemd/system/ollama.service

4、在[Service]下边增加一行:Environment=“OLLAMA_HOST=0.0.0.0:8080”,端口根据实际情况修改

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:9090"

[Install]
WantedBy=default.target

5、重载daemon文件

systemctl daemon-reload

6、启动ollama服务

systemctl start ollama

7、验证

ollama --version

8、查看当前模型

ollama list

9、ps显示当前正在运行的模型情况

ollama ps

 

 

 

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐