聚合数据库备份链

命令

aggregate 命令将备份工件链转换为单个完整备份工件

backup chain aggregation

聚合备份链的显著优势包括

  • 减少给定备份文件夹中备份工件的大小。

  • 通过生成一个可立即恢复的单一备份工件,保持较低的恢复时间目标 (RTO)。作为聚合的一部分,差异备份中包含的事务将应用于完整备份工件中包含的存储。此操作称为恢复,并且可能成本高昂。

  • 降低丢失链条链接的风险。

语法

neo4j-admin backup aggregate [-h] [--expand-commands]
                                      [--verbose] [--keep-old-backup[=true|false]]
                                      [--parallel-recovery[=true|false]]
                                      [--additional-config=<file>] --from-path=<path>
                                      [--temp-path=<path>] [<database>]

在 Neo4j 2025.01 中,neo4j-admin database aggregate-backup 命令已弃用。建议使用新命令名称 neo4j-admin backup aggregate

描述

将备份工件链聚合为单个工件。

参数

表 1. neo4j-admin backup aggregate 参数
参数 描述

[<database>]

要聚合工件的数据库名称。可包含 * 和 ? 进行通配符匹配。

选项

表 2. neo4j-admin backup aggregate 选项
选项 描述 默认值

--additional-config=<file>[1]

包含附加配置的配置文件。

--expand-commands

允许在配置值评估中进行命令扩展。

--from-path=<path>

接受单个工件文件的路径或包含备份工件的文件夹。

提供文件时,应省略 <database> 参数。可以使用相应的 URI 作为路径,从 AWS S3 存储桶、Google Cloud 存储桶和 Azure 存储桶聚合备份工件。

-h, --help

显示此帮助消息并退出。

--keep-old-backup[=true|false]

如果设置为 true,则不删除旧备份链。

false

--parallel-recovery[=true|false]

允许多个线程并行地将拉取的事务应用于备份。对于某些数据库和工作负载,这可能会显著缩短聚合时间。注意:这是一个实验性选项。使用前请咨询 Neo4j 支持团队。

false

--temp-path=<path>

提供一个临时空目录的路径,用于存储备份文件,直到命令完成。命令完成后,文件将被删除。

--verbose

启用详细输出。

1. 有关详细信息,请参阅Neo4j Admin 和 Neo4j CLI → 配置

--from-path=<path> 选项还可以从 AWS S3 存储桶、Google Cloud 存储桶和 Azure 存储桶加载备份工件。有关详细信息,请参阅聚合位于云存储中的备份链

--temp-path 选项解决了执行备份相关命令时可能出现的磁盘空间问题,尤其是在涉及云存储时。

如果未设置 --temp-path,则会在 --from-path 选项指定的目录中创建一个临时目录。

如果您未提供 --from-path 选项,或者您提供的路径指向云存储桶,则会在 Neo4j 的当前工作目录中创建一个临时文件夹。此回退选项可能会导致问题,因为本地文件系统(或安装 Neo4j 的分区)可能没有足够的可用磁盘空间来容纳中间计算。

因此,强烈建议提供 --temp-path 选项。

示例

聚合位于给定文件夹中的备份链

以下是如何对位于给定文件夹中的 neo4j 数据库的一组备份执行聚合的示例

bin/neo4j-admin backup aggregate --from-path=/mnt/backups/ neo4j

该命令首先在 /mnt/backups/ 目录中查找 neo4j 数据库的备份链。如果找到,则将其聚合为单个备份工件。

聚合使用给定备份文件标识的备份链

以下是如何对使用给定备份文件标识的 neo4j 数据库的一组备份执行聚合的示例

bin/neo4j-admin backup aggregate --from-path=/mnt/backups/neo4j-2022-10-18T13-00-07.backup

该命令检查 /mnt/backups/ 目录中是否包含文件 neo4j-2022-10-18T13-00-07.backupneo4j 数据库备份链。如果找到,则将其聚合为单个备份工件。

聚合位于云存储中的备份链

在 Neo4j 2025.03 中,引入了新的云集成设置,以更好地支持云生态系统中的部署和管理。有关详细信息,请参阅配置设置 → 云存储集成设置

以下示例展示了如何对位于云存储中的一组备份执行聚合。

Neo4j 使用 AWS SDK v2 通过 AWS URL 调用 AWS 上的 API。另外,您可以使用系统变量 aws.endpointUrls3aws.endpointUrlS3aws.endpointUrl,或环境变量 AWS_ENDPOINT_URL_S3AWS_ENDPOINT_URL,覆盖端点,以便 AWS SDK 可以与替代存储系统(如 Ceph、Minio 或 LocalStack)进行通信。

  1. 按照 AWS 官方文档中的说明安装 AWS CLI——安装 AWS CLI 版本 2

  2. 使用 AWS CLI 创建 S3 存储桶和目录以存储备份文件

    aws s3 mb --region=us-east-1 s3://myBucket
    aws s3api put-object --bucket myBucket --key myDirectory/

    有关如何创建存储桶和使用 AWS CLI 的更多信息,请参阅 AWS 官方文档——将 Amazon S3 与 AWS CLI 结合使用将高级 (s3) 命令与 AWS CLI 结合使用

  3. 运行以下命令验证 ~/.aws/config 文件是否正确

    cat ~/.aws/config

    输出应如下所示

    [default]
    region=us-east-1
  4. 通过在 ~/.aws/credentials 文件中设置 aws_access_key_idaws_secret_access_key,并(如果需要)使用存储桶策略来配置对 AWS S3 存储桶的访问。例如

    1. 使用 aws configure set aws_access_key_id aws_secret_access_key 命令设置您的 AWS IAM 凭据,并验证 ~/.aws/credentials 是否正确

      cat ~/.aws/credentials

      输出应如下所示

      [default]
      aws_access_key_id=this.is.secret
      aws_secret_access_key=this.is.super.secret
    2. 此外,您可以使用基于资源的策略来授予对 S3 存储桶及其中的对象的访问权限。创建一个包含以下内容的策略文档并将其附加到存储桶。请注意,两个资源条目对于能够下载和上传文件都很重要。

      {
          "Version": "2012-10-17",
          "Id": "Neo4jBackupAggregatePolicy",
          "Statement": [
              {
                  "Sid": "Neo4jBackupAggregateStatement",
                  "Effect": "Allow",
                  "Action": [
                      "s3:ListBucket",
                      "s3:GetObject",
                      "s3:PutObject",
                      "s3:DeleteObject"
                  ],
                  "Resource": [
                      "arn:aws:s3:::myBucket/*",
                      "arn:aws:s3:::myBucket"
                  ]
              }
          ]
      }
  5. 然后,使用以下命令聚合位于 AWS S3 存储桶给定文件夹中的备份链。此示例假定您的备份链位于 myBucket/myDirectory 文件夹中,并通过文件 myBackup.backup 进行识别。

    bin/neo4j-admin backup aggregate --from-path=s3://myBucket/myDirectory/myBackup.backup mydatabase
  1. 确保您拥有 Google 帐户并在 Google Cloud Platform (GCP) 中创建了项目。

    1. 按照 Google 官方文档中的说明安装 gcloud CLI——安装 gcloud CLI

    2. 根据 Google 官方文档创建服务帐号和服务帐号密钥——创建服务帐号创建和管理服务帐号密钥

    3. 下载服务帐号的 JSON 密钥文件。

    4. GOOGLE_APPLICATION_CREDENTIALSGOOGLE_CLOUD_PROJECT 环境变量分别设置为 JSON 密钥文件的路径和项目 ID

      export GOOGLE_APPLICATION_CREDENTIALS="/path/to/keyfile.json"
      export GOOGLE_CLOUD_PROJECT=YOUR_PROJECT_ID
    5. 使用您创建的服务帐号的电子邮件地址、JSON 密钥文件路径和项目 ID 验证 gcloud CLI

      gcloud auth activate-service-account service-account@example.com --key-file=$GOOGLE_APPLICATION_CREDENTIALS --project=$GOOGLE_CLOUD_PROJECT

      有关详细信息,请参阅 Google 官方文档——gcloud auth activate-service-account

    6. 根据 Google 官方文档在 Google Cloud Storage 中创建存储桶——创建存储桶

    7. 运行以下命令验证存储桶是否已创建

      gcloud storage ls

      输出应列出已创建的存储桶。

  2. 然后,使用以下命令聚合位于 Google 存储桶给定文件夹中的备份链。此示例假定您的备份链位于 myBucket/myDirectory 文件夹中,并通过文件 myBackup.backup 进行识别。

    bin/neo4j-admin backup aggregate --from-path=gs://myBucket/myDirectory/myBackup.backup mydatabase
  1. 确保您拥有 Azure 帐户、Azure 存储帐户和 Blob 容器。

    1. 您可以使用 Azure 门户创建存储帐户。
      有关详细信息,请参阅 Azure 官方文档中的 创建存储帐户

    2. 在 Azure 门户中创建 Blob 容器。
      有关详细信息,请参阅 Azure 官方文档中的 快速入门:使用 Azure 门户上传、下载和列出 Blob

  2. 按照 Azure 官方文档中的说明安装 Azure CLI——Azure 官方文档

  3. 使用默认 Azure 凭据对 Azure 上的 neo4j 或 neo4j-admin 进程进行身份验证。
    有关详细信息,请参阅 Azure 官方文档中的 默认 Azure 凭据

    az login

    然后您就可以在 neo4j 或 neo4j-admin 中使用 Azure URL 了。

  4. 要验证您是否可以使用登录凭据访问容器,请运行以下命令

    # Upload a file:
    az storage blob upload --file someLocalFile  --account-name accountName - --container someContainer --name remoteFileName  --auth-mode login
    
    # Download the file
    az storage blob download  --account-name accountName --container someContainer --name remoteFileName --file downloadedFile --auth-mode login
    
    # List container files
    az storage blob list  --account-name someContainer --container someContainer  --auth-mode login
  5. 然后,使用以下命令聚合位于 Azure blob 存储容器中给定文件夹中的备份链。此示例假定您的备份链位于 myStorageAccount/myContainer/myDirectory 文件夹中,并通过文件 myBackup.backup 进行识别。

    bin/neo4j-admin backup aggregate --from-path=azb://myStorageAccount/myContainer/myDirectory/myBackup.backup mydatabase
© . All rights reserved.