跳到主要内容

使用 Milvus 的 Kotaemon RAG

Kotaemon 是一个开源的简洁且可定制的 RAG UI，用于与您的文档进行聊天。同时为最终用户和开发者而构建。

Kotaemon 提供了一个可定制的多用户文档问答 Web UI，支持本地和基于 API 的 LLM。它提供了一个混合 RAG 流水线，具有全文和向量检索功能，支持包含图形和表格的文档的多模态问答，以及带有文档预览的高级引用。它支持复杂的推理方法，如 ReAct 和 ReWOO，并为检索和生成提供可配置的设置。

本教程将指导您如何使用 Milvus 自定义您的 kotaemon 应用程序。

先决条件​

安装​

我们建议以这种方式安装 kotaemon：

# 可选（设置环境）
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

除了这种方式，还有其他一些安装 kotaemon 的方法。您可以参考官方文档获取更多详细信息。

将 Milvus 设置为默认向量存储​

要将默认向量存储更改为 Milvus，您必须通过将 KH_VECTORSTORE 切换为以下内容来修改 flowsettings.py 文件：

"__type__": "kotaemon.storages.MilvusVectorStore"

设置环境变量​

您可以通过 .env 文件配置模型，其中包含连接 LLM 和嵌入模型所需的信息。例如 OpenAI、Azure、Ollama 等。

运行 Kotaemon​

设置环境变量并更改向量存储后，您可以通过运行以下命令来运行 kotaemon：

python app.py

默认用户名/密码是：admin / admin

开始使用 kotaemon 进行 RAG​

1. 添加您的 AI 模型​

在 Resources 选项卡中，您可以添加和设置您的 LLM 和嵌入模型。您可以添加多个模型并将它们设置为活动或非活动状态。您只需提供至少一个。您也可以提供多个模型以允许在它们之间切换。

2. 上传您的文档​

为了对您的文档进行问答，您需要首先将它们上传到应用程序中。 导航到 File Index 选项卡，您可以上传和管理您的自定义文档。

默认情况下，所有应用程序数据都存储在 ./ktem_app_data 文件夹中。Milvus 数据库数据存储在 ./ktem_app_data/user_data/vectorstore 中。您可以备份或复制此文件夹以将您的安装移动到新机器上。

3. 与您的文档聊天​

现在导航回 Chat 选项卡。聊天选项卡由 3 个区域组成：会话设置面板，您可以在其中管理会话和文件引用；用于与聊天机器人交互的聊天面板；以及信息面板，显示答案的支持证据、置信度分数和相关性评级。

您可以在会话设置面板中选择您的文档。然后只需在输入框中输入消息并将其发送给聊天机器人，即可开始与您的文档进行 RAG。

如果您想深入了解如何使用 kotaemon，您可以从官方文档获得完整的指导。