Ollama+OpenWebUI+Phi3本地大模型入门
Ollama提供大模型运行环境,OpenWebUI提供UI,Phi3就是那个大模型。当然,Ollama支持超级多开源大模型比如 llama3,如果GPU够用的话。运行 Llama 3、Phi 3、Mistral、Gemma 和其他模型。下载:https://ollama.com/download。有点傻哈,太小的模型真的只能玩玩,下次换台机器llama3。完全不懂大模型的请绕道,相信我李一舟的课程
Ollama+OpenWebUI+Phi3本地大模型入门
完全不懂大模型的请绕道,相信我李一舟的课程比较适合
Ollama提供大模型运行环境,OpenWebUI提供UI,Phi3就是那个大模型。
当然,Ollama支持超级多开源大模型比如 llama3,如果GPU够用的话。
一、基础环境
Win10 8GB内存 普通办公机器 无GPU全靠CPU撑着
Python3.11 OpenWebUI用的
二、Ollama
官网:https://ollama.com/
两句话搞定:
启动并运行大型语言模型。
运行 Llama 3、Phi 3、Mistral、Gemma 和其他模型。
下载:https://ollama.com/download
下载安装,一切都那么自然。
更多资料:ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.
三、OpenWebUI + Phi3
直接pip
安装简单粗暴 参考
两行代码搞定,
pip install open-webui
open-webui serve
打开WebUI http://0.0.0.0:8080/
配置ollama
加载phi3,或者你想要的其他模型
看看效果:
有点傻哈,太小的模型真的只能玩玩,下次换台机器llama3
更多资料:open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)
更多推荐
所有评论(0)