首页 前端知识 RagFlow Docker Desktop Ollama DeepSeek-R1本地部署自己的本地AI大模型工具

RagFlow Docker Desktop Ollama DeepSeek-R1本地部署自己的本地AI大模型工具

2025-03-27 13:03:35 前端知识 前端哥 896 697 我要收藏

前期准备

首先,我们需要下载 Ollama 以及配置相关环境。

Ollama 的 GitHub仓库 (https://github.com/ollama/ollama)中提供了详细的说明,简单总结如下:

Step1:下载 Ollama

下载(https://ollama.com/download)并双击运行 Ollama 应用程序。

Step2:验证安装

在命令行输入 ollama,如果出现以下信息,说明 Ollama 已经成功安装。

Step3:拉取模型
从命令行,参考 Ollama 模型列表 (https://ollama.com/library)和 文本嵌入模型列表 (https://python.langchain.com/v0.2/docs/integrations/text_embedding/)拉取模型。在该教程中,我们以 deepseek-r1:1.5b 和 nomic-embed-text 为例:

命令行输入 ollama pull deepseek-r1:1.5b,拉取通用的开源大语言模型 deepseek-r1:1.5b;(拉取模型时,可能比较缓慢。如果出现拉取错误,可以重新输入指令拉取)
命令行输入 ollama pull nomic-embed-text 拉取 文本嵌入模型 (https://ollama.com/search?c=embedding)nomic-embed-text。
当应用运行时,所有模型将自动在 localhost:11434 上启动。

注意,你的模型选择需要考虑你的本地硬件能力,该教程的参考显存大小 CPU Memory > 8GB。

Step4:部署模型

命令行窗口运行以下命令,部署模型。

ollama run deepseek-r1:1.5b

也可以从命令行直接运行部署模型,例如 ollama run deepseek-r1:1.5b。

 注意如果只想使用 Ollama 部署 DeepSeek R1 模型则无需进行以下步骤。

# langchain_community
pip install langchain langchain_community
# Chroma
pip install langchain_chroma
# Ollama
pip install langchain_ollama
复制

安装Ollama和deepseek大模型,完成前期准备工作后,让我们开始逐步构建基于 RagFlow + Docker Desktop + Ollama + DeepSeek-R1 的本地 RAG 应用。下面将详细介绍具体实现步骤。

本地 RAG 应用实现

 一、下载、安装Docker Desktop

地址:Docker Desktop | Docker Docs

下载完成后 双击安装

 

注意:安装成功后 点击确定会重启电脑   注意保存自己未保存的文件 

重启电脑后

如果安装成功后打开界面显示   Docker Engine stopped  说明缺少依赖  可能是缺少wsl    一般会自动弹框提示你安装适用于Linux的window子系统  安装一下就行了
如果没有自动弹框 执行  wsl --update安装一下

安装成功后再启动docker Desktop,就可以了!

 二、安装RAGFlow

在开始安装 RAGFlow 之前,请确保您的系统满足以下基本要求:

  • CPU 核心数:至少 2 核

  • 内存大小:至少 8 GB

克隆 RAGFlow 存储库

git clone https://github.com/infiniflow/ragflow.git
复制

如果git 克隆报错 就去https://github.com/infiniflow/ragflow.git  下载zip版本

构建 Docker 镜像并启动服务器

cd ragflow/docker
docker compose up -d
复制

核心映像大小约为 9 GB,加载可能需要一些时间。

检查服务器状态

docker logs -f ragflow-server
复制

如果系统成功启动,您将看到确认消息。

____ ______ __
/ __ \ ____ _ ____ _ / ____// /____ _ __
/ /_/ // __ `// __ `// /_ / // __ \| | /| / /
/ _, _// /_/ // /_/ // __/ / // /_/ /| |/ |/ /
/_/ |_| \__,_/ \__, //_/ /_/ \____/ |__/|__/
/____/
* Running on all addresses (0.0.0.0)
* Running on http://127.0.0.1:9380
* Running on http://172.22.0.5:9380
INFO:werkzeug:Press CTRL+C to quit
复制
配置选项

①、选择 LLM 工厂:在 service_conf.yaml 文件中的 user_default_llm 部分选择所需的 LLM 工厂。

②、API 密钥设置:使用相应的 API 密钥更新 service_conf.yaml 文件中的 API_KEY 字段。更多信息请参阅 /docs/llm_api_key_setup.md。

③、要更新默认 HTTP 服务端口 (80),请转到 docker-compose.yml 并将 80:80 更改为 <YOUR_SERVING_PORT>:80 。

所有系统配置的更新需要重新启动系统才能生效:docker-compose up -d

 访问 RAGFlow 界面

 一旦服务器启动并运行,您可以通过浏览器访问 RAGFlow 界面。在默认配置下,您可以省略默认 HTTP 服务端口 80。只需在浏览器中输入 RAGFlow 服务器的 IP 地址即可。

通过上述步骤,您可以成功设置和运行 RAGFlow。确保遵循所有配置指南,并在启动服务器后检查其状态以确认一切正常。通过选择适当的 LLM 工厂和设置 API 密钥,您可以确保 RAGFlow 与您的业务需求无缝集成。最后,通过简单的浏览器操作,您就可以开始使用 RAGFlow 强大的文档理解和问答功能了。

转载请注明出处或者链接地址:https://www.qianduange.cn//article/24449.html
标签
评论
发布的文章

【Linux笔记】基础IO(上)

2025-03-27 13:03:40

大家推荐的文章
会员中心 联系我 留言建议 回顶部
浏览器升级提示:您的浏览器版本较低,建议您立即升级为知了极速浏览器,极速、安全、简约,上网速度更快!立即下载
复制成功!