1. Ollama下载和安装

  • Ollama官网下载地址
    https://ollama.com/
    在这里插入图片描述

  • 安装完成,Win +R快捷键,输入cmd,打开终端,运行以下命令查看ollama版本

ollama --version

在这里插入图片描述

  • 增加环境变量:OLLAMA_MODELS,指定模型下载路径
    在这里插入图片描述
  • (可选)局域网中使用,增加以下两个环境变量
OLLAMA_HOST   0.0.0.0

OLLAMA_ORIGINS   *

2. 大模型下载和运行

  • Win +R快捷键,输入cmd,打开终端,运行以下命令,下载模型
ollama pull deepseek-r1:1.5b

在这里插入图片描述

  • Win +R快捷键,输入cmd,打开终端,运行以下命令,启动模型
ollama run deepseek-r1:1.5b

3. 大模型使用

3.1 命令行方式

在这里插入图片描述

3.2 Rest Api 方式
  • windows
curl -X POST http://localhost:11434/api/generate ^
    -H "Content-Type: application/json" ^
    -d "{\"model\": \"deepseek-r1:1.5b\", \"prompt\": \"你是什么大模型?\", \"stream\": false}"

在这里插入图片描述

  • linux/mac
curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:1.5b",
  "prompt": "你是什么大模型?",
  "stream": false
}'
3.3 chatbox 界面方式
  • 下载

https://chatboxai.app/zh

  • 配置
    在这里插入图片描述
3.4 Open WebUI
  • 安装docker
  • 启动容器
docker run -d -p 3080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐