错误处理

Neo4j Kafka Sink 连接器实例支持 Kafka Connect 错误处理机制，以处理不良的传入数据。要使用此功能，可以使用 表 1，“死信队列配置参数” 中描述的配置设置。

表 1. 死信队列配置参数
名称 描述

errors.tolerance

配置 Sink 进程中的错误容忍度。默认值为 none，导致任何错误都会立即使连接器任务失败并停止处理剩余消息。将其设置为 all 则会改变行为，跳过有问题的消息并继续处理其余消息。

可选值：all、none。默认值：none

如果 error.tolerance: all，则如果定义了死信队列，有问题消息仍将被报告。

errors.log.enable

如果设置为 true，每个错误以及失败操作和问题消息的详细信息将写入 Kafka Connect 应用程序日志。默认情况下，此设置为 'false'，因此仅报告不容忍的错误。

可选值：true、false。默认值：false

errors.log.include.messages

指定是否在日志中包含导致失败的 Kafka 消息。如果启用，将记录主题、分区、偏移量和时间戳。默认情况下，此设置为 'false'，以防止消息键、值和标头写入日志文件。

可选值：true、false。默认值：false

errors.deadletterqueue.topic.name

指定在 Sink 进程中遇到错误的消息要用作死信队列（DLQ）的主题名称。设置主题名称后，失败的消息将被发送到 DLQ。默认情况下，主题名称为空，表示不会有消息发送到 DLQ。

默认值：``

errors.deadletterqueue.context.headers.enable

如果设置为 true，包含错误上下文的标头将被添加到发送到 DLQ 主题的消息中。为避免与原始记录中的标头冲突，所有错误上下文标头键都将以 __connect.errors 开头。

将发送的错误标头包括：

  • __connect.errors.topic

  • __connect.errors.partition

  • __connect.errors.offset

  • __connect.errors.connector.name

  • __connect.errors.task.id

  • __connect.errors.stage

  • __connect.errors.class.name

  • __connect.errors.exception.class.name

  • __connect.errors.exception.message

  • __connect.errors.exception.stacktrace

可选值：true、false。默认值：false

errors.deadletterqueue.topic.replication.factor

指定用于创建死信队列（DLQ）主题（如果尚不存在）的复制因子。默认值为 3。如果您在单节点 Kafka 集群上运行，则还需要将其设置为 1。复制因子。

默认值：3
此版本的连接器还处理在消息处理期间以及将消息写入目标 Neo4j 数据库时可能发生的错误。有关 Kafka Connect 框架如何处理错误管理的更多详细信息，请参阅博客文章 错误处理和死信队列。
© . All rights reserved.