有什么新功能？

Neo4j Kafka 连接器 5.1 相较于之前的次要版本引入了多项改进和一些破坏性变更。

配置

  • 源连接器和目标连接器的设置已进行审查，并且大多数设置已重命名，以遵循一致的命名结构。有关支持的配置设置及其命名方案的完整列表，请参阅源配置设置和目标配置设置。

  • 表示持续时间值的设置，例如连接超时、重试超时、轮询间隔等，现在接受更人性化的值，例如 5s、1m 等。有关这些设置的详细格式规则，请参阅源配置设置和目标配置设置。

  • 接受多个值的设置现在使用 , 作为通用分隔符。

  • 设置已重新实现，以符合 Kafka 配置实践，并在支持 UI 的环境中（例如 Confluent Control Center）提供更友好的用户体验。

源

  • 源连接器使用 Kafka Connect 数据模型生成消息，并开箱即用地支持基于模式的转换器，例如 Avro、JSON Schema 和 Protobuf。连接器本身不再可能关闭此行为，如果不需要模式，则应通过转换器进行处理。

  • 数据变更捕获现在在源连接器中得到全面支持，应尽可能作为首选的源连接器策略。

  • 现在可以通过将 neo4j.start-from 设置为 USER_PROVIDED 并将 neo4j.start-from.value 设置为所需的游标（例如来自 CDC 的自定义变更标识符）来提供用户游标进行变更跟踪。

  • 如果需要，现在可以通过将 neo4j.ignore-stored-offset 设置为 true 来忽略存储的偏移量。

  • 新的 payload.mode 配置提供了控制负载结构的选项

    • 扩展模式 (EXTENDED)：提供详细的数据和类型信息，即使属性类型发生变化也能确保兼容性。

    • 紧凑模式 (COMPACT)：提供更简单、轻量级的格式，仅包含基本字段，最适合不需要模式兼容性或复杂类型的情况。

目标

  • 变更现在按照从 Kafka Connect 接收的顺序应用，并按其主题分组。

  • 错误处理已重新实现，以提供与 Kafka Connect 基础设施的完全集成，失败的消息可以独立识别并转发到死信队列（如果已配置）。

  • 数据变更捕获和之前流插件生成的变更事件消息都在 CDC 策略中得到支持。由于模式无效（无关键字段等）而无法处理的变更事件将不再被静默忽略，而是导致必须通过错误处理机制进行监控和处理的失败。

  • 所有消息字段，包括存储在 Kafka 中的消息时间戳、消息头、键和值，都可以在 Cypher 策略中引用。

  • 所有消息字段，包括存储在 Kafka 中的消息时间戳、消息头、键和值，都可以在模式策略中引用。

  • 在模式策略中定义模式时，现在可以为节点或关系上的属性命名。

© . All rights reserved.