学习率

“（5）输出值的范围：当激活函数输出值有限时，基于梯度的优化方法会更加稳定，因为特征的表示受有限权重的影响更显著；当激活函数的输出无限时，模型的训练会更加高效，不过在这种情况下，一般需要更小的学习率（Learning Rate）。”

“如果预测是正确的，则无须修正权重；如果预测有误，则用学习率（Learning Rate）乘以差错（期望值与实际值之间的差值），来对应地调整权重，如图7-2所示。”

“Reptile模型正是基于这两个方面进行了优化，首先它通过SGD对每个任务的支持集求梯度，使学习率（Learning Rate）同时作为变量通过梯度下降学习。”

“在训练过程中将通过梯度下降算法等数值优 化算法进行求解：  Loss        其中，称为学习率（Learning Rate）。”

“在训练过程中将通过梯度下降算法等数值优 化算法进行求解：  Loss        其中，称为学习率（Learning Rate）。”

“公式中，g t 代表了参数的梯度，η代表了学习率（Learning Rate），即梯度影响参数更新的程度，是训练中非常重要的一个超参数。”