GraphSAGE

如果您嵌入的图包含孤立节点，则 GraphSAGE 中的聚合步骤只能从节点本身获取信息。当该节点的所有属性均为 0.0 且激活函数为 ReLU 时，会导致该节点的所有向量均为零。但是，由于 GraphSAGE 使用 L2 范数对节点嵌入进行归一化，而零向量无法归一化，因此在这些特殊情况下，我们为这些节点分配所有零嵌入。在您为孤儿节点生成所有零嵌入的情况下，可能会对下游任务（例如最近邻或其他相似性算法）产生影响。在运行 GraphSAGE 之前，最好过滤掉这些断开连接的节点。

在进行训练的内存估算时，特征维度被计算为每个特征属性都是标量。

由于训练 GraphSAGE 模型在大型图上可能需要大量时间和内存，因此在训练之前对较小的子图进行采样，然后在该子图上进行训练可能会有所帮助。训练后的模型仍然可以应用于预测完整图（或其他图）上的嵌入，因为 GraphSAGE 是归纳式的。要采样结构上有代表性的子图，请参见带重启的随机游走采样。

使用 GraphSAGE 生成节点嵌入作为机器学习管道中的节点属性步骤可能很有用（例如链接预测管道和节点属性预测）。不支持在管道内训练 GraphSAGE 模型，而是必须先在管道外训练模型。模型训练完成后，可以使用 gds.beta.graphSage 或简写 beta.graphSage 作为 procedureName 过程参数将 GraphSAGE 添加为节点属性步骤到管道中，并在过程配置映射中引用训练后的模型，就像使用预测变异模式一样。

节点嵌入的大小及其隐藏层的大小。较大的嵌入大小可以捕获更多信息，但会增加所需的内存和计算时间。较小的嵌入尺寸速度更快，但会导致输入特征和图拓扑结构不足以编码到嵌入中。

聚合器定义了如何组合节点的嵌入和上一层中采样的邻居嵌入。GDS 支持 Mean 和 Pool 聚合器。

Mean 更简单，需要更少的内存，计算速度更快。Pool 更复杂，可以编码更丰富的邻域。

激活函数用于转换神经网络中神经元的输入。我们支持 Sigmoid 和 leaky ReLu 。

每个样本大小代表一个隐藏层，其输出大小等于嵌入维度。该层使用给定的聚合器和激活函数。更多层会导致为节点的嵌入考虑更多距离更远的邻居。第 N 层使用第 N -1 层中距离 <\= N 的采样邻居嵌入。层数越多，内存和计算时间就越高。

样本大小 n 表示我们尝试从节点中最多采样 n 个邻居。较高的样本大小也需要更多的内存和计算时间。

此参数定义了在单个批次中分组的训练示例数量。对于每个训练示例，我们还将采样一个正例和一个负例。使用 concurrency 个线程同时计算批次上的梯度。

批次大小不会影响模型质量，但可以用于调整训练速度。较大的批次大小会增加计算的内存消耗。

此参数定义了训练的最大时期数。在每个时期之前，会为每一层重新采样新的邻居，如样本大小中所指定。无论模型的质量如何，训练将在这些时期之后终止。请注意，如果损失收敛（参见容差），训练也可以更早停止。

设置此参数对于限制模型的训练时间可能会有用。限制计算预算可以起到正则化的作用，并减轻过度拟合的风险，过度拟合在大量时期后会成为风险。

由于每个时期都会重新采样邻居，因此多个时期可以避免对特定邻域进行过度拟合。

此参数定义了单个时期运行的最大迭代次数。每次迭代都使用随机采样批次的梯度，这些梯度在更新权重之前进行求和和缩放。采样批次的数量通过批次采样率定义。此外，还会验证损失是否收敛（参见容差）。

大量的迭代次数会导致对特定邻居样本进行过度拟合。

此参数定义了为单个迭代采样的批次数量。

采样的批次越多，梯度计算就越准确。但是，更多的批次也会增加每次迭代的运行时间。

一般来说，建议确保至少使用与定义的 concurrency 相同数量的批次。

此参数定义了随机游走的最大深度，这些随机游走为批次中的每个节点采样正例。

相似节点之间的接近程度取决于您的数据集和用例。

此参数定义了与损失计算中的正样本相比，负样本的权重。较高的值会增加负样本在损失中的影响，并降低正样本的影响。

此参数定义了正则化项对损失函数的影响。l2 惩罚项是在根据聚合器和样本大小定义的所有层的所有权重上计算的。

虽然正则化可以避免过度拟合，但较高的值甚至会导致欠拟合。最小值为零，此时正则化项没有任何影响。

在更新权重时，我们根据损失函数的梯度，沿着 Adam 优化器指示的方向移动。学习率参数决定了每次迭代后更新权重的幅度。

此参数定义了时期的收敛标准。如果当前迭代的损失和前一次迭代的损失之间的差小于 tolerance，则时期收敛。

较低的容差会导致更敏感的训练，训练时间更长的可能性更高。较高的容差意味着训练不太敏感，因此会导致更早的收敛。

此参数仅在您想区分多个节点标签时才相关。

在能够生成节点嵌入之前，我们需要训练一个模型并将其存储在模型目录中。以下是如何操作的示例。

从结果中我们可以得出以下结论，训练在单个 epoch 后收敛，损失几乎相同。调整算法参数，例如尝试不同的 sampleSizes、searchDepth、embeddingDimension 或 batchSize，可以改善损失。对于不同的数据集，GraphSAGE 可能需要不同的训练参数才能生成良好的模型。

训练后的模型会自动注册到 模型目录 中。

在本节中，我们将描述如何在具有多个标签的图上进行训练。不同的标签可能具有不同的属性集。为了在这样的图上运行，GraphSAGE 在 *多标签模式* 中运行，其中特征属性被投影到一个共同的特征空间中。因此，所有节点在投影后都具有相同维度的特征向量。

标签的投影是线性的，由权重矩阵给出。每个标签的权重与 GraphSAGE 模型的其他权重一起学习。

在多标签模式下，在通常的聚合层之前应用以下操作

投影后的特征维度由 projectedFeatureDimension 配置，指定它将启用多标签模式。

用于标签的特征属性是在 featureProperties 配置参数中指定的，并且存在于该标签的图中。在多标签模式下，不再要求所有标签都具有所有指定的属性。

GraphSAGE 实现支持使用关系权重进行训练。节点之间更大的关系权重表示节点应该具有更相似的嵌入值。

如果您有一个没有节点属性的图，我们建议您使用 mutate 模式中的现有算法来创建节点属性。好的候选者是 中心性算法 或 社区算法。

以下示例说明了在 mutate 模式下调用度中心性，然后使用突变的属性作为 GraphSAGE 训练的特征。出于本示例的目的，我们将使用 Persons 图，但我们不会将任何属性加载到内存中的图中。

gds.degree.mutate 将为内存中的图中的每个节点创建一个新的节点属性 degree，然后可以将其用作 GraphSAGE.train 模式的 featureProperty。

要生成嵌入并将其流回客户端，我们可以使用流模式。我们必须首先训练一个模型，这可以通过 gds.beta.graphSage.train 过程来完成。

一旦我们训练了一个模型（名为 'graphSage'），我们就可以使用它来生成和流式传输嵌入。

在 流示例中训练的模型 可以重复使用，以使用该过程的 mutate 模式将结果写入内存中的图。以下是如何实现此目的的示例。

在 流示例中训练的模型 可以重复使用，以将结果写入 Neo4j。以下是如何实现此目的的示例。