Neo4j LLM 知识图谱构建器 - 从非结构化文本中提取节点和关系

build kg genai e1718732751482

Neo4j LLM 知识图谱构建器是一个在线应用程序,用于将非结构化文本转化为知识图谱,它提供了神奇的文本到图体验。

它使用机器学习模型(LLM - OpenAI、Gemini、Llama3、Diffbot、Claude、Qwen)来转换 PDF、文档、图像、网页和 YouTube 视频转录。提取过程将它们转化为包含文档和块(带有嵌入)的词法图,以及包含节点及其关系的实体图,两者都存储在您的 Neo4j 数据库中。您可以在提取后配置提取模式并应用清理操作。

之后,您可以使用不同的 RAG 方法(GraphRAG、向量、Text2Cypher)来查询您的数据,并查看提取的数据如何用于构建答案。

  • 最适用于包含长篇英文文本的文件

  • 不太适用于表格数据,如 Excel 或 CSV,或图像/图表/幻灯片

  • 如果您为节点和关系类型配置图模式,数据提取质量会更高

前端是一个 React 应用程序,后端是一个在 Google Cloud Run 上运行的 Python FastAPI 应用程序,但您可以使用 docker compose 在本地部署它。它使用了 Neo4j 贡献给 LangChain 的 llm-graph-transformer 模块以及其他 LangChain 集成(例如用于 GraphRAG 搜索)。

所有功能在此处有详细文档:功能文档

这是一个快速演示

分步说明

  1. 打开LLM 知识图谱构建器

  2. 连接到 Neo4j (Aura) 实例

  3. 提供您的 PDF、文档、URL 或 S3/GCS 存储桶

  4. 使用选定的 LLM 构建图

  5. 在应用程序中可视化知识图谱

  6. 使用 GraphRAG 与您的数据聊天

  7. 打开 Neo4j Bloom 进行进一步的可视化探索

  8. 在您的应用程序中使用构建的知识图谱

llm graph builder viz
  • 登录或在 https://console.neo4j.io 创建账户

  • 在实例下,创建一个新的 AuraDB 免费数据库

  • 下载凭据文件

  • 等待实例运行

  • 将凭据文件拖放到 LLM 图构建器的连接对话框中

工作原理

  1. 上传的源文件作为 Document 节点存储在图中

  2. 每个文档(类型)都使用 LangChain 加载器加载

  3. 内容被分割成块 (Chunks)

  4. 块 (Chunks) 存储在图中,并与文档相互连接,以支持高级 RAG 模式

  5. 高度相似的块 (Chunks) 通过 SIMILAR 关系连接,形成 kNN 图

  6. 嵌入被计算并存储在块 (Chunks) 和向量索引中

  7. 使用 llm-graph-transformer 或 diffbot-graph-transformer 从文本中提取实体和关系

  8. 实体和关系存储在图中,并连接到原始块 (Chunks)

retrieval information e1718732797663

在线应用程序

https://llm-graph-builder.neo4jlabs.com/

作者

Michael Hunger, Tomaz Bratanic, Niels De Jong, Morgan Senechal, Persistent 团队

社区支持

Neo4j 在线社区

存储库

GitHub

问题

GitHub 问题

LangChain

LangChain KG 构建模块

安装

您也可以通过克隆 GitHub 存储库并按照 README.md 文件中的说明在本地运行它。

它使用 Docker 打包前端和后端,您可以运行 docker-compose up 来启动整个应用程序。

本地部署和配置详情可在本地部署文档中找到。

视频与教程

llm knowledge graph construction

详细演练

LLM 知识图谱构建器直播

© . All rights reserved.