主要是以下步骤：

• 如何使用Ollama一键部署本地大模型

• 通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的

• RAG的概念以及所用到的一些核心技术

• 如何通过AnythingLLM这款软件搭建完全本地化的数据库

上篇用Ollama一键部署本地大模型，以及通过搭建本地的聊天工具。

这篇就聊下剩余的部分。

三、 安装Docker Desktop

1、点击/复制到浏览器去下载

https://docs.docker.com/desktop/install/windows-install/

2、下载后，双击下载项目，出现下图，点击ok，开始加载文件。

注意！！！！这里下载相对比较快，下载完成后，不要点击“close and restart”，因为这样会直接重启，导致llama3下载中断。

3、这里先不点击，等待终端的模型下载完成后，再点击重启。

4、重启后，点击：“Accept”

5、接着点击"Finish"

6、然后会提示你注册账号，如果打不开网页，就需要科学上网了，

7、按照正常的注册流程，注册账号，并登录Docker 即可。登录后会进入Docker Desktop。此处完成。

四、下载Open WebUI

1、回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）

如果你是windows电脑，

• 点击win+R

• 输入cmd，点击回车

如果你是Mac电脑，

• 按下 Command（⌘）+ Space 键打开Spotlight搜索。

• 输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。

2、将以下命令输入，等待下载：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3、出现下图，即是下载完成。

4、点击或复制下方地址进入浏览器进行注册

http://localhost:3000/auth/

5、点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。

6、登入后，看到如下页面，点击顶部的Model，选择自己在本地的模型就行，我是在本地部署了2个，所以可以看到2个。

7、完成。

你已经拥有了一个属于自己的本地大语言模型。已经可以开始与他对话啦

如果要求不高的话，这就算已经搭建了一个本地大模型了，并且通过Web UI实现了和大模型进行对话的功能。

五、本地知识库进阶

如果想要对知识库进行更加灵活的掌控，我们需要一个额外的软件：AnythingLLM。

这个软件包含了所有Open WebUI的能力，并且额外支持了以下能力

• 选择文本嵌入模型

• 选择向量数据库

AnythingLLM安装和配置

安装地址：https://useanything.com/download

当我们安装完成之后，会进入到其配置页面，这里面主要分为三步

1. 第一步：选择大模型

2. 第二步：选择文本嵌入模型

3. 第三步：选择向量数据库

构建本地知识库

AnythingLLM中有一个Workspace的概念，我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。

1. 首先创建一个工作空间

2. 上传文档并且在工作空间中进行文本嵌入。在这里我上传的是一个“2023年最新450个搞钱玩法合集”。

3. 测试对话

当上述配置完成之后，我们就可以跟大模型进行对话了

整个过程就算结束了

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓