一致性检查器

您可以使用 neo4j-admin database check 命令检查数据库、转储或备份的一致性。neo4j-admin 工具位于 /bin 目录中。

语法

neo4j-admin database check 命令具有以下语法

neo4j-admin database check [-h] [--expand-commands] [--force] [--verbose]
                           [--check-counts[=true|false]] [--check-graph[=true|false]]
                           [--check-indexes[=true|false]] [--check-property-owners[=true|false]]
                           [--additional-config=<file>] [--max-off-heap-memory=<size>]
                           [--report-path=<path>] [--threads=<number of threads>]
                           [[--from-path-data=<path> --from-path-txn=<path>] | [--from-path=<path> [--temp-path=<path>]]]
                           <database>

描述

此命令允许检查数据库、转储或备份的一致性。它不能用于当前正在使用的数据库。

某些检查可能非常耗费资源，因此对于非常大的数据库，关闭其中一些检查可能很有用。增加堆大小可能是一个好主意。

不建议使用 NFS 来检查数据库、转储或备份的一致性，因为这会大大降低处理速度。

参数

表 1. neo4j-admin database check 参数
参数 描述

<database>

要检查的数据库名称。

选项

neo4j-admin database check 命令具有以下选项

表 2. neo4j-admin database check 选项
选项 描述 默认值

--verbose

启用详细输出。

-h, --help

显示此帮助消息并退出。

--expand-commands

允许在配置值评估中扩展命令。

--additional-config=<file>

包含其他配置的配置文件。

--force

强制运行一致性检查，即使存在资源问题，并且可能运行更彻底的检查。

--check-indexes[=true|false]

对索引执行一致性检查。

true

--check-graph[=true|false]

执行节点、关系、属性、类型和令牌之间的一致性检查。

true

--check-counts[=true|false]

对计数执行一致性检查。需要 <check-graph>，如果 <check-graph> 未显式禁用，则可能隐式启用 <check-graph>。

<check-graph>

--check-property-owners[=true|false]

对属性的所有权执行一致性检查。需要 <check-graph>，如果 <check-graph> 未显式禁用，则可能隐式启用 <check-graph>。

false

--report-path=<path>

一致性报告将写入到的路径。解释为目录，除非它具有 .report 扩展名。

.

--max-off-heap-memory=<size>

neo4j-admin 可以用于页面缓存和各种缓存数据结构以提高性能的最大内存。值可以是纯数字，例如 10000000 或例如 20G 表示 20 千兆字节，甚至例如 70%，这将相当于机器上当前可用内存的 70%。

90%

--threads=<number of threads>

用于检查一致性的线程数。

机器上的 CPU 数量。

--from-path-data=<path>

数据库目录的路径，包含要从中获取的数据库目录。

server.directories.data/databases

--from-path-txn=<path>

事务目录的路径，包含要从中获取的数据库的事务目录。

server.directories.transaction.logs.root

--from-path=<path>

包含需要检查一致性的转储/备份工件的目录的路径。如果目录包含多个备份，它将根据找到的事务 ID 选择最新的备份链来执行一致性检查。

--temp-path=<path>

用作暂存区域以提取转储/备份工件（如果需要）的目录的路径。

<from-path>

--from-path=<path> 选项还可以检查 AWS S3 存储桶（从 Neo4j 5.19 开始）和 Google Cloud 存储桶（从 Neo4j 5.21 开始）中的数据库工件。有关更多信息，请参见 检查存储在云存储中的备份/转储的一致性。

输出

如果一致性检查器未发现错误，它将干净地退出并且不会生成报告。如果一致性检查器发现错误，它将以非 0 的退出代码退出，并写入一个报告文件，其名称格式为 inconsistencies-YYYY-MM-DD.HH24.MI.SS.report。报告文件的位置是当前工作目录，或者由参数 report-path 指定。

示例

以下是检查数据库、转储或备份一致性的一些示例。

neo4j-admin database check 无法应用于 复合数据库。它必须直接在与该复合数据库关联的数据库上运行。

检查本地数据库的一致性

请注意，必须先停止数据库。

bin/neo4j-admin database check neo4j

输出将类似于以下内容

Running consistency check with max off-heap:618.6MiB
  Store size:160.0KiB
  Allocated page cache:160.0KiB
  Off-heap memory for caching:618.5MiB
ID Generator consistency check
....................  10%
....................  20%
....................  30%
....................  40%
....................  50%
....................  60%
....................  70%
....................  80%
....................  90%
.................... 100%
Index structure consistency check
....................  10%
....................  20%
....................  30%
....................  40%
....................  50%
....................  60%
....................  70%
....................  80%
....................  90%
.................... 100%
Consistency check
....................  10%
....................  20%
....................  30%
....................  40%
....................  50%
....................  60%
....................  70%
....................  80%
....................  90%
.................... 100%

检查备份/转储的一致性

使用 --from-path 选项运行以检查备份或转储的一致性

bin/neo4j-admin database check --from-path=<directory-with-backup-or-dump> neo4j

检查存储在云存储中的备份/转储的一致性

以下示例演示如何使用 --from-path 选项检查存储在云存储存储桶中的备份或转储的一致性。

Neo4j 使用 AWS SDK v2 通过 AWS URL 调用 AWS 上的 API。或者，您可以覆盖端点，以便 AWS SDK 可以使用系统变量 aws.endpointUrls3、aws.endpointUrlS3 或 aws.endpointUrl 或环境变量 AWS_ENDPOINT_URL_S3 或 AWS_ENDPOINT_URL 与其他存储系统（如 Ceph、Minio 或 LocalStack）通信。

  1. 按照 AWS 官方文档中的说明安装 AWS CLI — 安装 AWS CLI 版本 2。

  2. 使用 AWS CLI 创建一个 S3 存储桶和一个目录来存储备份文件

    aws s3 mb --region=us-east-1 s3://myBucket
aws s3api put-object --bucket myBucket --key myDirectory/

    有关如何创建存储桶和使用 AWS CLI 的更多信息，请参见 AWS 官方文档 — 使用 AWS CLI 使用 Amazon S3 和 使用 AWS CLI 使用高级 (s3) 命令。

  3. 通过运行以下命令验证 ~/.aws/config 文件是否正确

    cat ~/.aws/config

    输出应如下所示

    [default]
region=us-east-1

  4. 通过在 ~/.aws/credentials 文件中设置 aws_access_key_id 和 aws_secret_access_key 以及（如果需要）使用存储桶策略来配置对 AWS S3 存储桶的访问权限。例如

    1. 使用 aws configure set aws_access_key_id aws_secret_access_key 命令设置来自 AWS 的 IAM 凭据，并验证 ~/.aws/credentials 是否正确

      cat ~/.aws/credentials

      输出应如下所示

      [default]
aws_access_key_id=this.is.secret
aws_secret_access_key=this.is.super.secret

    2. 此外，您可以使用基于资源的策略来授予对 S3 存储桶及其中的对象的访问权限。创建具有以下内容的策略文档并将其附加到存储桶。请注意，这两个资源条目对于能够下载和上传文件都很重要。

      {
    "Version": "2012-10-17",
    "Id": "Neo4jBackupAggregatePolicy",
    "Statement": [
        {
            "Sid": "Neo4jBackupAggregateStatement",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::myBucket/*",
                "arn:aws:s3:::myBucket"
            ]
        }
    ]
}

  5. 运行 bin/neo4j-admin database check 命令以检查位于 AWS S3 存储桶中的数据库的一致性。此示例假设您在存储桶的 myBucket/myDirectory 文件夹中拥有备份或转储工件。

    bin/neo4j-admin database check mydatabase --from-path=s3://myBucket/myDirectory/

  1. 确保您拥有一个 Google 帐户和一个在 Google Cloud Platform (GCP) 中创建的项目。

    1. 按照 Google 官方文档中的说明安装 gcloud CLI — 安装 gcloud CLI。

    2. 使用 Google 官方文档创建服务帐户和服务帐户密钥 — 创建服务帐户 和 创建和管理服务帐户密钥。

    3. 下载服务帐户的 JSON 密钥文件。

    4. 将 GOOGLE_APPLICATION_CREDENTIALS 和 GOOGLE_CLOUD_PROJECT 环境变量分别设置为 JSON 密钥文件的路径和项目 ID

      export GOOGLE_APPLICATION_CREDENTIALS="/path/to/keyfile.json"
export GOOGLE_CLOUD_PROJECT=YOUR_PROJECT_ID

    5. 使用您创建的服务帐户的电子邮件地址、JSON 密钥文件的路径和项目 ID 对 gcloud CLI 进行身份验证

      gcloud auth activate-service-account [email protected] --key-file=$GOOGLE_APPLICATION_CREDENTIALS --project=$GOOGLE_CLOUD_PROJECT

      有关更多信息，请参见 Google 官方文档 — gcloud auth activate-service-account。

    6. 使用 Google 官方文档在 Google Cloud Storage 中创建一个存储桶 — 创建存储桶。

    7. 通过运行以下命令验证存储桶是否已创建

      gcloud storage ls

      输出应列出创建的存储桶。

  2. 运行 bin/neo4j-admin database check 命令以检查位于 Google 存储桶中的数据库的一致性。此示例假设您在存储桶的 myBucket/myDirectory 文件夹中拥有备份或转储工件。

    bin/neo4j-admin database check mydatabase --from-path=gs://myBucket/myDirectory/

  1. 确保您拥有一个 Azure 帐户、一个 Azure 存储帐户和一个 Blob 容器。

    1. 您可以使用 Azure 门户创建存储帐户。
      有关更多信息，请参见 Azure 官方文档关于 创建存储帐户。

    2. 在 Azure 门户中创建一个 Blob 容器。
      有关更多信息，请参见 Azure 官方文档关于 快速入门：使用 Azure 门户上传、下载和列出 Blob。

  2. 按照 Azure 官方文档中的说明安装 Azure CLI — Azure 官方文档。

  3. 使用默认的 Azure 凭据对 neo4j 或 neo4j-admin 进程进行 Azure 身份验证。
    有关更多信息，请参见 Azure 官方文档关于 默认 Azure 凭据。

    az login

    然后您应该准备好使用 neo4j 或 neo4j-admin 中的 Azure URL。

  4. 要验证您是否可以使用登录凭据访问容器，请运行以下命令

    # Upload a file:
az storage blob upload --file someLocalFile  --account-name accountName - --container someContainer --name remoteFileName  --auth-mode login

# Download the file
az storage blob download  --account-name accountName --container someContainer --name remoteFileName --file downloadedFile --auth-mode login

# List container files
az storage blob list  --account-name someContainer --container someContainer  --auth-mode login

  5. 运行 bin/neo4j-admin database check 命令以检查位于 Azure Blob 存储容器中的数据库的一致性。此示例假设您在 Azure 的 myStorageAccount/myContainer/myDirectory 文件夹中拥有备份或转储工件。

    bin/neo4j-admin database check mydatabase --from-path=azb://myStorageAccount/myContainer/myDirectory/