在Linux上
对于Nvidia GPU,Ollama可以在Docker容器内通过GPU加速运行。

要开始使用Docker镜像,请使用以下命令。

仅使用CPU


docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU
安装Nvidia容器工具包。
在Docker容器内运行Ollama


docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型
现在你可以在容器内运行像deepseek-r1:1.5b这样的模型。

docker exec -it ollama ollama run deepseek-r1:1.5b

结尾:样例小程序二维码,我自己做的一个免费好用的【随机选择决定转盘工具】小程序,欢迎扫码体验呦!

谢谢阅读!~~

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐