Dify大语言模型(LLM) 应用开发平台+本地RAG知识库

本地部署大语言模型并非易事，它涉及到复杂的模型管理、知识库搭建以及系统集成等技术挑战。本文将为你提供一份详细的“小白教程”，手把手教你如何在本地环境中部署Dify开源平台，并结合本地RAG知识库，打造属于你自己的智能体工作流。

要实现本地部署跑通大模型+本地知识库搭建的本地智能体（工作流）

需要三部分

第一部分：本地部署大语言模型（上面第一个原创文章中以部署deepseekR1-7b为例）

第二部分：部署dify开源平台，这部分需要安装docker启动

第三部分：dify开源平台+Embedding模型

今天这部分主要是第三部分

开始正文

启动ollama、docker

打开dify本地地址：Dify（http://localhost/apps）

接入大模型这里有2种方式

方式一：通过接口API+密钥的形式接入公共平台上的大模型（充值买token）

方式二：通过本地部署的ollama，接入本地部署的大模型（无限token）

下面简单说一下方式一通过接口API+密钥的形式接入公共平台上的大模型，

设置->模型提供商

找到“深度求索”填入”API Key”+”自定义 API endpoint 地址”

自定义 API endpoint 地址—>
https://api.deepseek.com/v1

API Key—>去deepseek官网（DeepSeek开放平台
https://platform.deepseek.com/sign_in），充值5块钱，获取密钥即可

下面是填写完成的效果，模型就可使用了；

找到ollama，将本地已经部署的deepseek-r1:7b

添加到ollama中，点击“添加模型”

模型名称：deepseek-r1:7b（本地安装的什么版本，这里就填写你本地部署的版本）

内网地址：http://localhost:11434

点击“保存”即可完成添加

再添加知识库Embedding模型

模型名称：bge-m3:latest（本地安装的什么版本，这里就填写你本地部署的版本，我本地安装的是bge-m3，）

内网地址：http://localhost:11434

点击“保存”即可完成添加，

补充：创建本地的知识库，需要用到Embedding 模型，测试bge-m3性能最高

安装bge-m3

ollamapull bge-m3

到这里就安装完成了，

可以通过输入ollama命令查看当前安装版本

ollamalist

拓展：

打开cmd后输入：查看命令ollama –version

查看模型仓库：ollama list

显示模型信息: ollama show

在cmd中去拉模型: ollama pull 模型名称

删除模型：ollama rm 模型名称

测试ollama运行状态：http://localhost:11434（访问网址）出现Ollama is running即使正在运行，如果连接打不开就是没在运行。

ollama添加完成模型的效果

最后一步，点击“系统模型设置”将系统推理模型和Embedding模型分别选择本地安装的模型就可以了。

知识库选择模型的地方就可以使用啦，到这里本地部署的dify与本都部署的大模型（推理模型+知识库模型）就配置完了，上传一个文件试试

上传了，在我之前的智能体中加上知识库

问一个问题

回答得还不错，👍

下一期将用本地部署的平台，搭建一个本地智能体~敬请期待

本文由 @董方旭 原创发布于人人都是产品经理。未经作者许可，禁止转载

题图来自Unsplash，基于CC0协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务