在 Ollama 中调用已部署的 DeepSeek 模型,可以通过以下步骤操作:


1. 确认模型已正确部署

首先确保你已通过 Ollama 正确部署了 DeepSeek 模型。常用命令:

bash

复制

ollama list  # 查看已安装的模型列表

如果列表中没有 DeepSeek,需要先拉取模型(假设模型名称为 deepseek):

bash

复制

ollama pull deepseek

2. 基础调用命令

直接通过 ollama run 启动模型并进入交互式对话:

bash

复制

ollama run deepseek

输入问题后,模型会生成回复。按 Ctrl+D 退出交互模式。


3. 非交互式单次调用

通过管道 (|) 或 echo 直接发送问题,无需进入交互模式:

bash

复制

echo "为什么天空是蓝色的?" | ollama run deepseek

或:

bash

复制

ollama run deepseek "为什么天空是蓝色的?"

4. 调整生成参数

通过 --options 自定义生成参数(如温度、最大 token 数等):

bash

复制

ollama run deepseek "写一首关于春天的诗" --temperature 0.8 --num_predict 500

常用参数:

  • --temperature: 控制随机性(0-1,默认 0.8)

  • --num_predict: 限制生成的最大 token 数

  • --seed: 设置随机种子


5. 结合脚本或文件输入

将问题保存在文件中,通过重定向输入调用:

bash

复制

ollama run deepseek < input.txt

或使用脚本自动化:

bash

复制

#!/bin/bash
echo "用户问题" | ollama run deepseek >> output.txt

6. 通过 API 调用

Ollama 提供本地 API,可用 curl 调用:

bash

复制

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek",
  "prompt": "为什么太阳会发光?",
  "stream": false,
  "options": {
    "temperature": 0.7,
    "num_predict": 300
  }
}'

常见问题

  • 模型名称错误:用 ollama list 确认模型名称。

  • 端口冲突:默认端口 11434 被占用时,可通过 ollama serve 指定新端口。

  • 性能问题:大模型需足够内存(如 7B 模型约需 16GB RAM)。


通过上述命令,你可以灵活地在本地调用 DeepSeek 模型进行文本生成。

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐