Ollama 环境变量详解

对Ollama变量的一些简单的理解。

瘸

3081人浏览 · 2024-12-02 13:58:15

瘸 · 2024-12-02 13:58:15 发布

Environment="OLLAMA_HOST=0.0.0.0:11434"
解释：监听地址和端口 0.0.0.0是对IP没有限制
Environment="PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games"
解释：定义可执行文件的搜索路径
Environment="OLLAMA_SCHED_SPREAD=true"
解释：调用分散模式多显卡的情况处理多并发的情况下可以减少时间
Environment="OLLAMA_NUM_PARALLEL=15"
解释：最大线程数，同时允许的最大处理并非数
Environment="OLLAMA_MAX_LOADED_MODELS=1"
解释：最大模型数，同时可以加载最多几个模型（我三张显卡的情况 llama3 70B，和一个27B并行建议1-2）
Environment="OLLAMA_MODELS=/mnt/rayse/files/ollama/models"
解释：模型存储路径
Environment="OLLAMA_KEEP_ALIVE=1h"
解释：模型加载后保留的时间，超过1小时，就卸载了，就要从新加载模型。
ExecStart=/usr/bin/ollama serve
解释：启动服务的指令
User=ollama
解释：指定运行服务的用户，服务将以 ollama 用户的身份运行
Group=ollama
解释：指定运行服务的用户组，服务将属于 ollama 用户组。
Restart=always
解释：配置服务异常停止后的自动重启
RestartSec=3
解释：设置服务停止后重新启动的时间间隔
Environment="CUDA_VISIBLE_DEVICES=0,1
解释：在多张显卡的情况下只用显卡0和显卡1进行运行服务。

技术共进，成长同行——讯飞AI开发者社区

更多推荐

AI辅助编程中的审查疏漏：灾难性后果深度解析

不要依赖AI的逻辑和代码，要指导AI思考和给出代码并进行严格的审查和测试，否则其灾难性后果将是你我不可承受之重！随着生成式人工智能（AI）技术的飞速发展，AI辅助编程已成为软件开发领域不可逆转的趋势。然而，这一技术变革在带来效率提升的同时，也伴随着前所未有的风险。当人类开发者对AI生成代码的输出缺乏严格、审慎的审查时，一系列灾难性的后果便可能发生。这些后果不仅限于代码级别的缺陷，更可能演变为严重的

讯飞AI开发者社区

AI加持的“vibe hacking”氛围黑客

Vibe Hacking（氛围黑客）的技术本质在于以人工智能为核心驱动力，通过自然语言意图描述实现网络攻击全流程自动化。作为Vibe Coding（氛围编程）与恶意AI模型结合的产物，其核心机制是攻击者无需掌握编程技术，仅通过精准描述攻击意图（Prompt），即可使AI生成恶意代码、执行侦察、窃取数据、定制勒索策略并完成攻击闭环。