DB-GPT系统安装部署与运行(CPU环境 + 模型代理模式)
DB-GPT可以通过代理模式部署在硬件较低的服务器上,也可以在GPU下进行私有化本地模型的部署。本人的硬件配置较低,只有CPU,考虑使用第三方大模型API服务,这里以使用。⚠️ 当使用MySQL时,在v0.4.7版本之后,DB-GPT不在做MySQL数据库Schema的自动创建与升级, 主要是为安全生产考虑。注意:如果使用sqlite3(即不执行上述的可选步骤:配置元数据库),需要下载;,使用前需
本人安装环境
操作系统:Windows11
Python版本:python 3.10.2
Git 版本:git version 2.41.0.windows.1
MySQL:Ver 8.0.18 for Win64 on x86_64 (MySQL Community Server - GPL)
安装目录:D:\DB-GPT
源码安装
- 源码下载:git clone https://github.com/eosphoros-ai/DB-GPT.git
- 源码下载后,进入源码项目的目录:cd DB-GPT
- 安装服务的“系统”:pip install -e ".[default]"
根据网络情况等待的时间可能有点久,因为下载的依赖不少:
模型安装
DB-GPT可以通过代理模式部署在硬件较低的服务器上,也可以在GPU下进行私有化本地模型的部署。 本人的硬件配置较低,只有CPU,考虑使用第三方大模型API服务,这里以使用智谱AI为例。
- 安装依赖:pip install zhipuai -i Simple Index
安装完成,查看版本
- 下载Embedding 模型
mkdir models
cd models
git clone https://hf-mirror.com/GanymedeNil/text2vec-large-chinese
(文件比较大,近2.5G,可能需要等待一段时间)
- 配置代理,在.env文件中修改LLM_MODEL, PROXY_API_URL and API_KEY
源码目录下,复制.env.template文件为.env文件,修改内容:
LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
ZHIPU_MODEL_VERSION=glm-4-flash
ZHIPU_PROXY_API_KEY=xxxxxx……xxxxx
这里选了款免费的模型API:glm-4-flash,使用前需要注册/登录智谱AI官网并实名注册,获取API 密钥(https://bigmodel.cn/usercenter/proj-mgmt/apikeys)
配置元数据库
这里将配置MySQL,因为本人没有安装sqlite3,但已经成功安装了MySQL。
⚠️ 当使用MySQL时,在v0.4.7版本之后,DB-GPT不在做MySQL数据库Schema的自动创建与升级, 主要是为安全生产考虑。
- 执行脚本初始化表结构, 如果是做版本升级需要提对应的DDL变更来更新表结构
- 登录mysql:mysql -h localhost -u root -p
- 登录mysql:mysql -h localhost -u root -p
-
- 使用自己之前创建好的一个本地数据库:use db_name;
- 使用自己之前创建好的一个本地数据库:use db_name;
-
- 执行DB-GPT项目的.sql脚本:source .\assets\schema\dbgpt.sql
- 执行DB-GPT项目的.sql脚本:source .\assets\schema\dbgpt.sql
查看上述脚本执行后,本地数据库多了什么数据:
- 修改.env文件配置MySQL数据库
LOCAL_DB_TYPE=mysql
LOCAL_DB_USER= {your username}
LOCAL_DB_PASSWORD={your_password}
LOCAL_DB_HOST=127.0.0.1
LOCAL_DB_PORT=3306
测试数据(可选)
DB-GPT项目默认内置了一部分测试数据,可以通过以下命令加载到本地数据库中进行测试。
Windows平台
.\scripts\examples\load_examples.bat
注意:如果使用sqlite3(即不执行上述的可选步骤:配置元数据库),需要下载;如果使用的是mysql,无需这步。
操作注意先回到DB-GPT目录:cd ..
启动服务
python dbgpt/app/dbgpt_server.py
浏览器打开http://localhost:5670/,进入服务页面(页面正常)
简单演示基本功能查看服务是否正常运行:
参考
更多推荐
所有评论(0)