在这里插入图片描述

DeepSeek R1本地化部署 Ollama + Chatbox 打造最强AI工具

本文介绍如何通过本地化部署Ollama和Chatbox,利用DeepSeek R1模型打造强大的AI工具,涵盖Ollama和Chatbox的使用方法及相关操作步骤。

一、Ollama

(一)下载Ollama

Ollama是用于管理和部署机器学习模型的工具,支持macOS、Linux、Windows系统。可在官网https://ollama.com/下载,

下载完成安装后,运行软件,在任务栏右上角会出现小羊驼🦙图标。

(二)选择模型

在Ollama界面点击“Search models”搜索框,可找到deepseek-r1模型。该模型有多个版本,如1.5b、7b、8b等,参数量越大模型越强大,但对计算资源要求也越高。不同模型大小对应的运行需求如下:

模型大小 显存需求(FP16推理) 显存需求(INT8推理) 推荐显卡 macOS需要的RAM
1.5B ~3GB ~2GB RTX 2060 / Mac GPU可运行 8GB
7B ~14GB ~10GB RTX 3060 12GB/ 4070 Ti 16GB
8B ~16GB ~12GB RTX 4070 / Mac GPU高效运行 16GB
14B ~28GB ~20GB RTX 4090/ A100-40G 32GB
32B ~64GB ~48GB A100-80G / 2x RTX 4090 64GB

(三)运行模型

确定要运行的模型后,复制指令“ollama run deepseek-r1:模型版本(如7b)”到终端运行。当进度条完成,电脑就具备了相应的推理能力。

(四)使用 && 测试

使用“ollama list”指令可查看已部署的模型,使用“ollama run 对应的模型”即可进行交互。输入“/bye”可退出。Ollama还有其他指令,具体如下:

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

二、Chatbox

https://web.chatboxai.app/

在浏览器搜索Chatbox,可下载客户端或使用网页版。设置语言为中文后,点击设置选择模型为OLLAMA API,API域名设置为“http://127.0.0.1:11434” ,选择R1模型并保存(不同操作系统设置方式不同,需按教程操作确保连接到本地服务)。之后就可以在浏览器或客户端上流畅使用R1模型。

(一)创建你的专属GPTs

在Chatbox中点击“我的搭档”,可创建新的AI搭档,为其设定人格,也可选择现有的搭档,如软件工程师、夸夸机等角色。

三、共勉

以上就是利用DeepSeek R1本地化部署Ollama + Chatbox打造AI工具的全部内容,若文章对你有帮助,欢迎点赞收藏关注。

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐