Neo4j LLM 知识图谱构建器 - 从非结构化文本中提取节点和关系

build kg genai e1718732751482

Neo4j LLM 知识图谱构建器是一个在线应用程序,用于将非结构化文本转换为知识图谱,它提供了神奇的文本到图的体验。

它使用 ML 模型(LLM - OpenAI、Gemini、Llama3、Diffbot、Claude、Qwen)来转换 PDF、文档、图像、网页和 YouTube 视频转录。提取将它们转换为文档和片段的词汇图(带嵌入)以及具有节点及其关系的实体图,这两者都存储在您的 Neo4j 数据库中。您可以配置提取模式并在提取后应用清理操作。

之后,您可以使用不同的 RAG 方法(GraphRAG、向量、Text2Cypher)来询问您的数据,并查看提取的数据如何用于构建答案。

  • 适用于英语长篇文本的文件可获得最佳结果

  • 不太适合表格数据(如 Excel 或 CSV)或图像/图表/幻灯片

  • 如果您为节点和关系类型配置图模式,则可以获得更高质量的数据提取

前端是一个 React 应用程序,后端是一个在 Google Cloud Run 上运行的 Python FastAPI 应用程序,但您可以使用 docker compose 在本地部署它。它使用 Neo4j 为 LangChain 做出的贡献llm-graph-transformer 模块和其他 langchain 集成(例如用于 GraphRAG 搜索)。

所有功能都在此处详细记录:功能文档

这是一个快速演示

分步说明

  1. 打开LLM-知识图谱构建器

  2. 连接到Neo4j (Aura) 实例

  3. 提供您的 PDF、文档、URL 或 S3/GCS 存储桶

  4. 使用选定的 LLM 构建图

  5. 在应用程序中可视化知识图谱

  6. 使用 GraphRAG 与您的数据聊天

  7. 打开 Neo4j Bloom 进行进一步的可视化探索

  8. 在您的应用程序中使用构建的知识图谱

llm graph builder viz
  • 登录或在https://console.neo4j.io上创建一个帐户

  • 在“实例”下,创建一个新的 AuraDB 免费数据库

  • 下载凭据文件

  • 等待实例运行

  • 将凭据文件放到 LLM 图构建器的连接对话框上

工作原理

  1. 上传的源文件作为图中的Document节点存储

  2. 每个文档(类型)都使用 LangChain 加载器加载

  3. 内容被分成片段

  4. 片段存储在图中,并连接到文档以及彼此之间,以实现高级 RAG 模式

  5. 高度相似的片段通过SIMILAR关系连接,形成一个 kNN 图

  6. 计算嵌入并存储在片段和向量索引中

  7. 使用 llm-graph-transformer 或 diffbot-graph-transformer 从文本中提取实体和关系

  8. 实体和关系存储在图中,并连接到源片段

retrieval information e1718732797663

在线应用程序

https://llm-graph-builder.neo4jlabs.com/

作者

Michael Hunger、Tomaz Bratanic、Niels De Jong、Morgan Senechal、Persistent 团队

社区支持

Neo4j 在线社区

仓库

GitHub

问题

GitHub 问题

LangChain

LangChain KG 构建模块

安装

您可以通过克隆GitHub 仓库并在 README.md 文件中按照说明操作,在本地运行它。

它使用 Docker 打包前端和后端,您可以运行docker-compose up启动整个应用程序。

本地部署和配置详细信息可在本地部署文档中找到

The LLM 知识图谱构建器应用程序 可在线使用。

视频和教程

llm knowledge graph construction

详细演练

LLM-知识图谱构建器直播