优化 Kafka

Kafka Connect Neo4j 连接器是将 Kafka 与 Neo4j 集成的推荐方法，因为 Neo4j Streams 已经不再处于活跃开发状态，并且在 Neo4j 4.4 版本之后将不再支持。

Kafka Connect Neo4j 连接器的最新版本可以在这里找到 这里。

如果 Kafka 设置不正确，Neo4j 无法快速摄取数据。虽然这不是常见的问题来源，但确实出现过。Confluent 有关于优化 Kafka 的良好的总体文档，值得了解。

主要权衡如下，它们必须在 Kafka 层面有意义，然后才能对 Neo4j 有意义。

  • 您是否希望优化高吞吐量，即数据从生产者移动到代理或从代理移动到消费者的速率？

  • 您是否希望优化低延迟，即端到端移动消息的经过时间（从生产者到代理到消费者）？

  • 您是否希望优化高持久性，这保证已提交的消息不会丢失？

  • 您是否希望优化高可用性，这最大程度地减少意外故障发生时的停机时间？Kafka 是一个分布式系统，旨在容忍故障。