商圈搜索|帖子搜索|回复搜索
首页 > AI技术百科 > 搜索
235浏览
0点赞

SoftPlus激活函数

作为 ReLU 的一个不错的替代选择，SoftPlus 能够返回任何大于 0 的值。与 ReLU 不同，SoftPlus 的导数是连续的、非零的，无处不在，从而防止出现静默神经元。然而，SoftPlus 另一个不同于 ReLU 的地方在于其不对称性
217浏览
0点赞

激活函数 Bent Identity

激活函数 Bent Identity 是介于 Identity 与 ReLU 之间的一种折衷选择。它允许非线性行为，尽管其非零导数有效提升了学习并克服了与 ReLU 相关的静默神经元的问题。由于其导数可在 1 的任意一侧返回值，因此它可能容
211浏览
0点赞

Symmetrical Sigmoid激活函数

Symmetrical Sigmoid 是另一个 Tanh 激活函数的变种（实际上，它相当于输入减半的 Tanh）。和 Tanh 一样，它是反对称的、零中心、可微分的，值域在 -1 到 1 之间。它更平坦的形状和更慢的下降派生表明它可以更有效地
272浏览
0点赞

Log Log 激活函数

Log Log 激活函数（由上图 f(x) 可知该函数为以 e 为底的嵌套指数函数）的值域为 [0,1]，Complementary Log Log 激活函数有潜力替代经典的 Sigmoid 激活函数。该函数饱和地更快，且零点值要高于 0.5。
781浏览
2点赞

高斯激活函数（Gaussian）

高斯激活函数（Gaussian）并不是径向基函数网络（RBFN）中常用的高斯核函数，高斯激活函数在多层感知机类的模型中并不是很流行。该函数处处可微且为偶函数，但一阶导会很快收敛到零。
350浏览
0点赞

绝对值（Absolute）激活函数

顾名思义，绝对值（Absolute）激活函数返回输入的绝对值。该函数的导数除了零点外处处有定义，且导数的量值处处为 1。这种激活函数一定不会出现梯度爆炸或消失的情况。
390浏览
0点赞

余弦激活函数（Cos/Cosine）

如同正弦函数，余弦激活函数（Cos/Cosine）为神经网络引入了周期性。它的值域为 [-1,1]，且导数处处连续。和 Sinusoid 函数不同，余弦函数为不以零点对称的偶函数。
1052浏览
0点赞

Sinc 函数（全称是 Cardinal Sine）

Sinc 函数（全称是 Cardinal Sine）在信号处理中尤为重要，因为它表征了矩形函数的傅立叶变换（Fourier transform）。作为一种激活函数，它的优势在于处处可微和对称的特性，不过它比较容易产生梯度消失的问题。
558浏览
0点赞

指数线性单元（Exponential Linear Unit，ELU）

指数线性单元（Exponential Linear Unit，ELU）也属于 ReLU 修正类激活函数的一员。和 PReLU 以及 RReLU 类似，为负值输入添加了一个非零输出。和其它修正类激活函数不同的是，它包括一个负指数项，从而防止静默神经
278浏览
0点赞

Maxout与Dropout

Dropout是一种网络规则化技巧，其实它就是相当于在训练很多个不同的网络结构，尽管如此，推理阶段所有不同结构的参数依然是共享的，因为实际上只有一个网络存在。在机器学习算法中，有一个概念叫做bagging，bagging
183浏览
0点赞

Maxout的tensorflow实现

importtensorflowastfx=tf.random_normal([1,3])m=4k=3d=x.get_shape().as_list()[-1]W=tf.Variable(tf.random_normal(shape=[d,m,k]))b=tf.Variable(tf.random_normal(shape=[m,k]))dot_z=tf.tensordot(x,W,axes=1)
205浏览
0点赞

MaxOut函数

maxout激发函数，则其隐含层节点的输出表达式为：这里的W是3维的，尺寸为d*m*k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每个隐含层节点对应了k个”隐隐含层”节点，这k个”隐隐含层”节点都是线性
381浏览
0点赞

ELU (Exponential Linear Units) 函数

函数表达式：函数及其导数的图像如下图所示：ELU也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：1、不会有DeadReLU问题2、输出的均值接近0，zero-centered它的一个小问题在于计算量稍大。类
1362浏览
1点赞

Leaky ReLU函数（PReLU）

PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图：如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。 有实验证明
544浏览
0点赞

没有免费的午餐定理（No Free Lunch Theorem，简称 NFL）

我们经常听人谈论“什么算法更好”或者“A算法比B算法好”这样类似说法，其实这样的说法忽略了一个前提，那就是在解决某一个具体的问题（任务）上。为什么这么说呢，因为如果考虑所有潜在的问题，所有的学习算法都一
371浏览
1点赞

什么是欠拟合与过拟合？

我们希望通过机器学习学得的模型的泛化能力比较强，直白来说就是使得学得的模型不仅仅在在训练样本中工作得很好，更应该在新的样本中工作很好。通常我们把分类错误的样本数占总样本数的比例称为错误率（error rate）
348浏览
1点赞

7个重点的机器学习的方法

机器学习里面究竟有多少经典的算法呢？在这个部分我会简要介绍一下机器学习中的经典代表方法。这部分介绍的重点是这些方法内涵的思想，数学与实践细节不会在这讨论。　　1、回归算法　　在大部分机器学习课程中，回
330浏览
2点赞

机器学习涉及的7个范围

　 其实，机器学习跟模式识别，统计学习，数据挖掘，计算机视觉，语音识别，自然语言处理等领域有着很深的联系。　　从范围上来说，机器学习跟模式识别，统计学习，数据挖掘是类似的，同时，机器学习与其他领域的处
392浏览
0点赞

随机森林的Python实现

　　利用Python的两个模块，分别为pandas和scikit-learn来实现随机森林。fromsklearn.datasetsimportload_irisfromsklearn.ensembleimportRandomForestClassifierimportpandasaspdimportnumpyasnpiris=load_iris()df
503浏览
2点赞

随机森林工作原理解释的一个简单例子

　　描述：根据已有的训练集已经生成了对应的随机森林，随机森林如何利用某一个人的年龄（Age）、性别（Gender）、教育情况（Highest Educational Qualification）、工作领域（Industry）以及住宅地（Residence）共5
上一页   1   2   …   6   7   8   9   10   11   12   …   23   24   下一页
今日排行
本周排行
本月排行
专业服务，成就每一位AI数据科学家
免费注册体验
联系我们

未来已至-为AI数据而生


关注服务号


关注订阅号

AI数据集

AI科学社区

AI数据标注工具

关于我们