新增功能？

Neo4j Kafka 连接器 5.1 在之前的次要版本的基础上引入了多项改进和一些重大更改。

配置

  • 源连接器和接收器连接器的设置都经过了审查，大多数设置已重命名以遵循一致的命名结构。请参阅源配置设置和接收器配置设置，以获取支持的配置设置及其命名方案的完整列表。

  • 表示持续时间值的设置（例如连接超时、重试超时、轮询间隔等）现在接受更人性化的值，例如 5s、1m 等。请参阅源配置设置和接收器配置设置，以获取这些设置的详细格式规则。

  • 接受多个值的设置现在使用 , 作为通用分隔符。

  • 设置已重新实现以遵守 Kafka 配置实践，并在 UI 支持的环境（如 Confluent Control Center）中执行更友好的用户体验。

源

  • 源连接器使用 Kafka Connect 数据模型生成消息，并开箱即用地支持基于模式的转换器，例如 Avro、JSON Schema 和 Protobuf。连接器本身不再可以关闭此行为，如果不需要模式，则应通过转换器进行处理。

  • 变更数据捕获现在在源连接器中得到完全支持，并且在可能的情况下应该是首选的源连接器策略。

  • 现在可以通过将 neo4j.start-from 设置为 USER_PROVIDED 并将 neo4j.start-from.value 设置为所需的游标（例如来自 CDC 的自定义更改标识符）来实现用户提供的更改跟踪游标。

  • 如果需要，现在可以通过将 neo4j.ignore-stored-offset 设置为 true 来忽略存储的偏移量。

  • 新的 payload.mode 配置提供用于控制有效负载结构的选项

    • EXTENDED：提供详细的数据和类型信息，即使属性类型发生更改也能确保兼容性。

    • COMPACT：提供更简单、更轻量级的格式，仅包含基本字段，最适合不需要模式兼容性或复杂类型的情况。

接收器

  • 更改现在按从 Kafka Connect 接收到的顺序应用，并按主题分组。

  • 错误处理已重新实现以提供与 Kafka Connect 基础设施的完全集成，并且可以独立地识别失败的消息并将其转发到死信队列（如果已配置）。

  • CDC 策略中同时支持变更数据捕获和以前的流插件生成的更改事件消息。由于无效模式（没有键字段等）等原因而无法处理的更改事件将不再被静默忽略，而是会导致故障，这些故障必须通过错误处理机制进行监控和处理。

  • 所有消息字段（包括存储在 Kafka 中的消息时间戳、消息头、键和值）都可以在 Cypher 策略中引用。

  • 所有消息字段（包括存储在 Kafka 中的消息时间戳、消息头、键和值）都可以在模式策略中引用。

  • 现在可以在定义模式策略中的模式时为节点或关系上的属性命名。