梯度下降法的一种具体实现。TensorFlow 的优化器基类是 tf.train.Optimizer。不同的优化器（tf.train.Optimizer 的子类）会考虑如下概念：

• 动量 (Momentum)

• 更新频率 （AdaGrad = ADAptive GRADient descent； Adam = ADAptive with Momentum；RMSProp）

• 稀疏性/正则化 (Ftrl)

• 更复杂的计算方法 （Proximal， 等等）

甚至还包括 NN 驱动的优化器。