一、环境准备

  1. 硬件要求

    • GPU:建议NVIDIA GPU(显存≥8GB,如RTX 3060/4090),具体显存需求根据模型参数选择(如7B模型需8GB显存,32B需24GB)。
    • 内存:建议≥16GB(7B模型),32B及以上模型需≥64GB。
    • 存储:预留足够磁盘空间(如7B模型约9GB,14B模型约14GB)。
  2. 软件依赖

    • 安装CUDA和cuDNN以支持GPU加速。
    • 安装Docker(可选,用于容器化部署)。

二、安装Ollama

方法一:脚本安装(推荐)
# 下载并执行安装脚本
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
ollama version  # 输出版本号即成功
方法二:Docker安装
# 使用Docker运行Ollama服务
docker run -d --name ollama -p 11434:11434 -v ollama-data:/root/.ollama ollama/ollama

# 若下载超时,可替换Docker镜像源(国内加速)
sudo tee /etc/docker/daemon.json <<-'EOF'
{
    "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]
}
EOF
sudo systemctl restart docker

三、拉取并运行DeepSeek模型

  1. 选择模型版本

    • 低配置设备:deepseek-r1:1.5bdeepseek-r1:7b
    • 高性能设备:deepseek-r1:32bdeepseek-chat:7b-quant(量化版节省显存)。
  2. 拉取模型

# 拉取模型(以7B为例)
ollama pull deepseek-r1:7b
  1. 启动交互式会话
ollama run deepseek-r1:7b  # 输入问题后按回车获取回答
  1. 后台运行
ollama run deepseek-r1:7b &  # 后台运行,按Ctrl+C退出

四、API调用示例

Python调用
import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        "model": "deepseek-r1:7b",
        "prompt": "用Python写一个快速排序算法",
        "stream": False,
        "options": {"temperature": 0.7, "max_tokens": 1000}
    }
)
print(response.json()["response"])
Java调用(需Apache HTTP库)
// 示例代码参考网页8,通过HTTP客户端发送POST请求至API端点

五、高级配置与优化

  1. GPU加速

    • 确保CUDA已正确安装,Ollama默认启用GPU加速。
    • 指定多GPU:CUDA_VISIBLE_DEVICES=0,1 ollama run...
  2. 性能优化

    • 量化模型:使用deepseek-r1:7b-q4_0降低显存占用。
    • 多线程:设置OLLAMA_NUM_THREADS=8提升CPU推理速度。
    • 内存限制:调整vm.overcommit_memory=1避免内存不足。
  3. 图形化界面(可选)

    • 部署Open WebUI:
      docker run -d -p 3000:8080 -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:main
      
      访问http://localhost:3000使用类ChatGPT界面。

六、常见问题解决

  1. 拉取模型失败

    • 网络问题:更换镜像源(如OLLAMA_MODELS=https://mirror.zhcdn.com)。
    • 端口冲突:检查11434端口占用,终止冲突进程。
  2. 显存不足

    • 换用量化模型或更小参数版本。
  3. 修改监听地址

    • 编辑Ollama服务配置,设置OLLAMA_HOST=0.0.0.0:11434支持远程访问。

七、应用场景

  • 代码开发:生成算法或API代码。
  • 数据分析:处理长文本或生成可视化报告。
  • 隐私场景:本地部署避免数据外泄。

通过以上步骤,可在Linux系统完成DeepSeek的本地部署与优化。如需进一步扩展功能(如微调模型或企业级部署),可参考相关配置文档。

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐