Neo4j Apache Spark 连接器

Neo4j Apache Spark 连接器提供了 Neo4j 与 Apache Spark 之间的集成。

您可以使用该连接器在 Neo4j 与其他平台(如 Databricks 和多个数据仓库)之间处理和传输数据。该连接器基于 Spark DataSource API,支持 Spark 支持的所有编程语言。

图与数据帧

该连接器使用 模式推断 将 Neo4j 图转换为基于 Spark 表的数据帧。例如,考虑一个具有以下模式的图

Example graph

该连接器创建一个包含由 BOUGHT 关系连接的 :Customer:Product 节点的数据帧,以及任何节点或关系属性。模式推断部分展示了此过程的更详细示例,而数据类型映射部分则展示了 Neo4j 和 Spark 之间数据类型的映射方式。

该连接器还支持将数据帧写入 Neo4j,并支持用于读取写入数据的自定义 Cypher® 查询。

兼容性

Neo4j 兼容性

该连接器支持 Neo4j 5.x 和 4.4,无论是在 Neo4j Aura 中作为托管服务运行、作为单实例运行还是作为集群运行。它支持社区版和企业版。

Spark 和 Scala 兼容性

该连接器目前支持 Spark 3.0+ 以及 Scala 2.12 和 Scala 2.13。

培训

Andrea Santurbano 对连接器的介绍可在 YouTube 上获取。

许可证

源代码依据 Apache 2.0 许可证条款提供。您可以自由下载、修改和重新分发该连接器;但是,Neo4j 支持仅适用于 Neo4j 提供的官方构建版本。

支持

对于 Neo4j Enterprise 和 Neo4j AuraDB 客户,此连接器的官方版本在您现有 Neo4j 支持协议的条款下受到支持。此支持仅限于常规版本,不包括 alpha、beta 和预发布版本。如果您对支持政策有任何疑问,请联系 Neo4j。

© 2024

许可证:知识共享 4.0

© . All rights reserved.