GraphSAGE

如果您正在嵌入一个包含孤立节点的图，GraphSAGE 中的聚合步骤只能从节点本身提取信息。当该节点的所有属性均为 0.0 且激活函数为 ReLU 时，这会导致该节点的所有元素均为零向量。然而，由于 GraphSAGE 使用 L2 范数对节点嵌入进行归一化，而零向量无法归一化，因此在这种特殊情况下，我们将全零嵌入分配给此类节点。在为孤立节点生成全零嵌入的情况下，这可能会对最近邻或其他相似度算法等下游任务产生影响。在运行 GraphSAGE 之前，更合适的做法是过滤掉这些断开连接的节点。

在进行训练的内存估算时，特征维度被计算为每个特征属性都是标量。

由于在大型图上训练 GraphSAGE 模型可能需要大量时间和内存，因此在训练之前采样一个较小的子图，然后在该子图上进行训练会很有帮助。由于 GraphSAGE 具有归纳性，训练好的模型仍然可以应用于预测完整图（或其他图）上的嵌入。要采样一个结构上有代表性的子图，请参阅 带重启的随机游走采样。

在机器学习管道中（如 链接预测管道 和 节点属性预测），使用 GraphSAGE 生成节点嵌入作为节点属性步骤可能会很有用。不支持在管道内部训练 GraphSAGE 模型，而是必须首先在管道外部训练模型。一旦模型训练完成，就可以使用 gds.beta.graphSage 或简写 beta.graphSage 作为 procedureName 过程参数，并将 GraphSAGE 添加到管道中作为节点属性步骤，并在过程配置映射中引用训练好的模型，就像在 预测变异模式 中一样。

节点嵌入及其隐藏层的大小。大的嵌入大小能捕获更多信息，但会增加所需的内存和计算时间。小的嵌入大小速度更快，但可能导致输入特征和图拓扑在嵌入中编码不足。

聚合器定义了如何结合节点的嵌入和来自上一层采样的邻居嵌入。GDS 支持 Mean 和 Pool 聚合器。

Mean 更简单，需要更少内存，计算速度更快。Pool 更复杂，可以编码更丰富的邻域信息。

激活函数用于转换神经网络中神经元的输入。我们支持 Sigmoid 和 leaky ReLu。

每个样本大小代表一个隐藏层，其输出大小等于嵌入维度。该层使用给定的聚合器和激活函数。更多的层会导致更远的邻居被考虑用于节点的嵌入。第 N 层使用距离 <\= N 的采样邻居嵌入作为第 N -1 层的输入。层数越多，所需的内存和计算时间就越高。

样本大小 n 意味着我们尝试从一个节点最多采样 n 个邻居。更高的样本大小也需要更多的内存和计算时间。

此参数定义了单个批次中分组的训练示例数量。对于每个训练示例，我们还将采样一个正例和一个负例。梯度使用 concurrency 数量的线程在批次上并行计算。

批处理大小不影响模型质量，但可用于调整训练速度。更大的批处理大小会增加计算的内存消耗。

此参数定义了训练的最大迭代周期数。在每个迭代周期之前，会为每个层采样新邻居，如 样本大小 中所指定。无论模型质量如何，训练都将在这么多迭代周期后终止。请注意，如果损失收敛（参见 容差），训练也可以提前停止。

设置此参数有助于限制模型的训练时间。限制计算预算可以起到正则化和缓解过拟合的作用，过拟合在大量迭代周期下会成为风险。

因为每个迭代周期都会重新采样邻居，所以多个迭代周期可以避免在特定邻域上过拟合。

此参数定义了单个迭代周期运行的最大迭代次数。每次迭代使用随机采样批次的梯度，这些梯度在更新权重之前进行求和和缩放。采样批次的数量通过 批处理采样比率 定义。此外，还会验证损失是否收敛（参见 容差）。

大量的迭代次数可能导致对特定邻居样本的过拟合。

此参数定义了单次迭代要采样的批次数量。

采样批次越多，梯度计算越准确。但是，更多的批次也会增加每次迭代的运行时间。

通常，建议确保使用的批次数量至少与定义的 concurrency 相同。

此参数定义了随机游走的最大深度，这些随机游走为批次中的每个节点采样正例。

相似节点之间的距离取决于您的数据集和用例。

此参数定义了损失计算中负样本相对于正样本的权重。值越高，负样本对损失的影响越大，正样本的影响越小。

此参数定义了正则化项对损失函数的影响。L2 惩罚项是根据 聚合器 和 样本大小 定义的层中所有权重计算得出的。

虽然正则化可以避免过拟合，但过高的值甚至可能导致欠拟合。最小值为零，此时正则化项完全不起作用。

更新权重时，我们根据损失函数的梯度，沿着 Adam 优化器指定的方向移动。学习率参数决定了每次迭代后权重更新的幅度。

此参数定义了迭代周期的收敛标准。如果当前迭代的损失与前一次迭代的损失之差小于 tolerance，则迭代周期收敛。

较低的容差会导致更敏感的训练，训练时间更长。较高的容差意味着训练不那么敏感，从而导致更早收敛。

此参数仅在您希望区分多个节点标签时才相关。

在生成节点嵌入之前，我们需要训练一个模型并将其存储在模型目录中。下面是一个如何操作的示例。

查看结果，我们可以得出以下结论：训练在单个迭代周期后收敛，损失几乎相同。调整算法参数，例如尝试不同的 sampleSizes、searchDepth、embeddingDimension 或 batchSize 可以改善损失。对于不同的数据集，GraphSAGE 可能需要不同的训练参数才能生成好的模型。

训练好的模型会自动注册到 模型目录 中。

在本节中，我们将介绍如何在具有多个标签的图上进行训练。不同的标签可能具有不同的属性集。为了在此类图上运行，GraphSAGE 以多标签模式运行，其中特征属性被投影到一个公共特征空间中。因此，所有节点在投影后都具有相同维度的特征向量。

标签的投影是线性的，由一个权重矩阵给出。每个标签的权重与 GraphSAGE 模型的其他权重一起学习。

在多标签模式下，在通常的聚合层之前应用以下内容

投影特征维度通过 projectedFeatureDimension 配置，指定此参数即可启用多标签模式。

用于标签的特征属性是 featureProperties 配置参数中存在于该标签的图中的属性。在多标签模式下，不再要求所有标签都具有所有指定的属性。

GraphSAGE 实现支持使用关系权重进行训练。节点之间更大的关系权重表示这些节点应具有更相似的嵌入值。

如果您有一个没有节点属性的图，我们建议使用现有算法的 mutate 模式来创建节点属性。好的候选算法是 中心性算法 或 社区算法。

以下示例说明了如何在 mutate 模式下调用度中心性算法，然后将变异后的属性用作 GraphSAGE 训练的特征。为了本示例的目的，我们将使用 Persons 图，但不会将任何属性加载到内存图。

gds.degree.mutate 将为内存图中的每个节点创建一个新的节点属性 degree，然后可以在 GraphSAGE.train 模式中将其用作 featureProperty。

要生成嵌入并将其流回客户端，我们可以使用流模式。我们必须首先训练一个模型，我们使用 gds.beta.graphSage.train 过程来完成此操作。

一旦我们训练了一个模型（名为 'graphSage'），我们就可以使用它来生成和流式传输嵌入。

作为流示例一部分训练的 模型 可以重复使用，以使用该过程的 mutate 模式将结果写入内存图。下面是如何实现这一点的示例。

作为流示例一部分训练的 模型 可以重复使用，以将结果写入 Neo4j。下面是如何实现这一点的示例。