摘要：在使用 Ollama 部署本地大语言模型时，频繁加载和卸载模型会导致性能损耗。本文详细介绍如何通过 keep_alive 参数与环境变量设置，实现模型常驻显存，提升推理效率。适用于深度学习开发者、AI 工程师及对本地部署感兴趣的读者。

---

一、引言

随着本地大模型部署工具 Ollama 的普及，越来越多开发者开始尝试在本地运行如 Llama3、DeepSeek 等高性能语言模型。但在实际使用中，你是否遇到过以下问题：

• 每次请求后模型自动卸载，下次调用需要重新加载？
• 显存加载耗时影响推理响应速度？
• 希望模型一直保留在显存中以提高并发效率？

如果你也有类似困扰，那么本文将为你提供完整的解决方案，帮助你优化 Ollama 服务的模型加载策略。

---

二、Ollama 中的 keep_alive 参数详解

Ollama 提供了 keep_alive 参数用于控制模型在请求结束后保留的时间。默认情况下，模型会在一段时间（通常是5分钟）后被自动卸载。

示例代码：

generate_payload = {
    "model": "deepseek-r1:32b",
    "prompt": "请生成一个关于人工智能的简短介绍。",
    "stream": False,
    "keep_alive": "24h",  # 设置模型长期保持加载
    "options": {
        "temperature": 0.6,
    }
}

参数说明：

• "5m" 表示5分钟
• "1h" 表示1小时
• "24h" 表示24小时
• "infinite" 或 -1 可实现永久驻留（视版本而定）

✅ 小提示：接口参数优先级高于全局配置，适合按需控制不同模型的行为。

---

三、启动时设置全局 keep_alive 策略

除了每次调用都手动指定 keep_alive，我们还可以通过环境变量来统一设置所有模型的默认行为。

Linux 下使用 systemd 启动 Ollama 服务的修改方法：

1. 编辑服务文件：

   sudo systemctl edit ollama.service

2. 添加以下内容：

   [Service]
   Environment="OLLAMA_KEEP_ALIVE=24h"

3. 重启服务：

   sudo systemctl restart ollama.service

这样，所有模型在加载后都会默认保留 24 小时，无需每次请求重复设置。

---

四、注意事项与最佳实践

• 资源占用：大型模型（如 32B）会显著占用显存，请根据 GPU 显存容量合理设置时间。
• 多模型共存：若同时运行多个模型，注意监控显存使用情况，避免 OOM（内存溢出）。
• 优先级规则：接口参数 keep_alive > 环境变量 OLLAMA_KEEP_ALIVE
• 生产建议：对于高并发场景，建议结合负载均衡 + 永久驻留策略，提升整体响应速度。

---

五、结语

通过合理设置 keep_alive 参数或环境变量，我们可以有效减少模型加载延迟，提高 Ollama 服务的整体性能与稳定性。无论是本地开发还是部署到服务器，掌握这些技巧都能让你的 AI 推理更高效、更流畅。

感谢你的阅读，希望这篇文章能为你的本地大模型部署之路带来帮助！如果你有任何疑问或想分享自己的实践经验，欢迎在评论区留言交流。

祝你工作顺利，模型不掉线，推理不停机！

---

标签：
#Ollama #大模型部署 #AI推理优化