Linux平台通过Ollama本地部署DeepSeek
通过以上步骤,可在Linux系统完成DeepSeek的本地部署与优化。如需进一步扩展功能(如微调模型或企业级部署),可参考相关配置文档。
·
一、环境准备
-
硬件要求
- GPU:建议NVIDIA GPU(显存≥8GB,如RTX 3060/4090),具体显存需求根据模型参数选择(如7B模型需8GB显存,32B需24GB)。
- 内存:建议≥16GB(7B模型),32B及以上模型需≥64GB。
- 存储:预留足够磁盘空间(如7B模型约9GB,14B模型约14GB)。
-
软件依赖
- 安装CUDA和cuDNN以支持GPU加速。
- 安装Docker(可选,用于容器化部署)。
二、安装Ollama
方法一:脚本安装(推荐)
# 下载并执行安装脚本
curl -fsSL https://ollama.com/install.sh | sh
# 验证安装
ollama version # 输出版本号即成功
方法二:Docker安装
# 使用Docker运行Ollama服务
docker run -d --name ollama -p 11434:11434 -v ollama-data:/root/.ollama ollama/ollama
# 若下载超时,可替换Docker镜像源(国内加速)
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]
}
EOF
sudo systemctl restart docker
三、拉取并运行DeepSeek模型
-
选择模型版本
- 低配置设备:
deepseek-r1:1.5b
或deepseek-r1:7b
。 - 高性能设备:
deepseek-r1:32b
或deepseek-chat:7b-quant
(量化版节省显存)。
- 低配置设备:
-
拉取模型
# 拉取模型(以7B为例)
ollama pull deepseek-r1:7b
- 启动交互式会话
ollama run deepseek-r1:7b # 输入问题后按回车获取回答
- 后台运行
ollama run deepseek-r1:7b & # 后台运行,按Ctrl+C退出
四、API调用示例
Python调用
import requests
response = requests.post(
'http://localhost:11434/api/generate',
json={
"model": "deepseek-r1:7b",
"prompt": "用Python写一个快速排序算法",
"stream": False,
"options": {"temperature": 0.7, "max_tokens": 1000}
}
)
print(response.json()["response"])
Java调用(需Apache HTTP库)
// 示例代码参考网页8,通过HTTP客户端发送POST请求至API端点
五、高级配置与优化
-
GPU加速
- 确保CUDA已正确安装,Ollama默认启用GPU加速。
- 指定多GPU:
CUDA_VISIBLE_DEVICES=0,1 ollama run...
。
-
性能优化
- 量化模型:使用
deepseek-r1:7b-q4_0
降低显存占用。 - 多线程:设置
OLLAMA_NUM_THREADS=8
提升CPU推理速度。 - 内存限制:调整
vm.overcommit_memory=1
避免内存不足。
- 量化模型:使用
-
图形化界面(可选)
- 部署Open WebUI:
访问docker run -d -p 3000:8080 -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:main
http://localhost:3000
使用类ChatGPT界面。
- 部署Open WebUI:
六、常见问题解决
-
拉取模型失败
- 网络问题:更换镜像源(如
OLLAMA_MODELS=https://mirror.zhcdn.com
)。 - 端口冲突:检查11434端口占用,终止冲突进程。
- 网络问题:更换镜像源(如
-
显存不足
- 换用量化模型或更小参数版本。
-
修改监听地址
- 编辑Ollama服务配置,设置
OLLAMA_HOST=0.0.0.0:11434
支持远程访问。
- 编辑Ollama服务配置,设置
七、应用场景
- 代码开发:生成算法或API代码。
- 数据分析:处理长文本或生成可视化报告。
- 隐私场景:本地部署避免数据外泄。
通过以上步骤,可在Linux系统完成DeepSeek的本地部署与优化。如需进一步扩展功能(如微调模型或企业级部署),可参考相关配置文档。
更多推荐
所有评论(0)