Select Language

AI社区

AI技术百科

120浏览
0点赞

循环神经网络(RNN)的原理及实现

在前馈神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中,神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数,每次输入都是独立的,即网络的输出只依赖于当前的
351浏览
0点赞

神经网络训练的一般步骤

Step1:随机初始化权重;Step2:实现前向传播算法,拿到各个输入的激活函数;Step3:编码计算代价函数;Step4:实现反向传播计算激活函数的偏导数。看一下伪代码:代码中的m是训练样本的个数。Step5:使用梯度检验验
333浏览
0点赞

生成对抗网结(Generative Adversarial Network, GAN)

生成对抗网结(Generative Adversarial Network, GAN): 由Goodfellow在2014年提出,其核心思想来自于博弈论的纳什均衡”。它包含两个网络模型:一个生成模型和一个判别模型。生成模型捕捉样本数据的分布,判别模型是
254浏览
0点赞

深度信念网结(Deep Belief Nets, DBN)

深度信念网结(Deep Belief Nets, DBN): 或称深度置信网络,神经网络的一种,由多个受限玻尔兹曼机组成。既可以用于非监督学习,类似于一个自编码器,也可以用于监督学习,类似于一个分类器。从非监督学习来讲,其目
265浏览
0点赞

自动编码器(AutoEncoder)

自动编码器(AutoEncoder):是人工神经网络的一种,主要用来处理数据的压缩,其数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。原理为训练神经网络,通过捕捉可以代表输入信息的最关键的因素,让
432浏览
1点赞

长短期记忆网络(Long Short-Term Memory, LSTM)

长短期记忆网络(Long Short-Term Memory, LSTM):是一种时间递归神经网络,适合用于处理和预测时间序列中间隔和延迟较长的重要事件。基于LSTM的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别、
301浏览
0点赞

递归神经网络(Recurrent Neural Network, RNN)

前馈神经网络只能单独处理一个的输入,不同的输入之间被认为是相互独立没有联系的,但实际上很多时候输入之间是有序列关系的,需要使用递归神经网络(Recurrent Neural Network, RNN), 也称循环神经网络,其引入了
305浏览
0点赞

卷积神经网络(CNN)

卷积神经网络(CNN): 由Yann LeCun提出并应用在手写字体(MINST)识别上,其实质是一种多层前馈网络,擅长处理图像特别是大图像的处理和识别。
298浏览
0点赞

深度神经网络(DNN)

深度神经网络(DNN):使用统计学方法从原始感官数据中提取高层特征,在大量的数据中获得输入空间的有效表征。 简单理解,深度神经网络就是有多个隐藏层的多层感知器网络,根据实际应用情况不同,其形态和大小也都不
373浏览
0点赞

径向基函数神经网络(Radical Basis Function Neural Network, RBF NN)

径向基函数神经网络(Radical Basis Function Neural Network, RBF NN): 1988 年由 John Moody和Christian J Darken提出了一种网络结构,属于前向型神经网络,理论上可以任意精度逼近任意连续函数,适合解决分类问题
303浏览
0点赞

受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)

受限玻尔兹曼机(Restricted Boltzmann Machine, RBM),是一种简化的特殊的玻尔兹曼机,1986年由Paul Smolensky提出。和BM相比,其隐藏层中的节点之间没有互相连接,其可见节点间也没有连接,因此其计算相对更简单
422浏览
1点赞

玻尔兹曼机(Bolzmann Machine, BM)

玻尔兹曼机(Bolzmann Machine, BM):也称 Stochastic Hopfield Network with Hidden Units,是一种随机递归神经网络,可以看做是一种随机生成的Hopfield网络。1983年-1986年,由Hinton和Sejnowski提出,该神经网络
322浏览
1点赞

自适应共振理论(Adaptive Resource Theory,ART)

自适应共振理论(Adaptive Resource Theory,ART),1976年由美国波士顿大学学者G.A.Carpenter提出,试图为人类的心理和认证活动建立统一的数学理论。随后又和S.Grossberg提出了ART网络。ART网络由两层组成两个子系
337浏览
0点赞

对偶传播神经网络(Counter-Propagation Network, CPN)

对偶传播神经网络(Counter-Propagation Network, CPN) , 1987年甶美国学者Robert Hecht-Nielsen提出,最早用来实现样本选择匹配系统,能存储二进制或模拟值的模式对,可用于联想存储、模式分类、函数通近、统计分
261浏览
0点赞

学习向量量化神经网络(Learning Vector Quantization, LVQ)

学习向量量化神经网络(Learning Vector Quantization, LVQ):在竞争网络的基础上,由Kohonen提出,其核心为将竞争学习与有监督学习相结合,学习过程中通过教师信号对输入样本的分配类别进行规定,克服了自组织网络
269浏览
0点赞

竞争学习(Competition Learning)

竞争学习(Competition Learning) 是人工神经网络的一种学习方式,指网络单元群体中所有单元相互竞争对外界刺激模式响应的权利,竞争取胜的单元的连接权重向着对这一刺激有利的方向变化,相对来说竞争取胜的单元抑
412浏览
0点赞

自组织神经网络(Self Organization Neural Network, SONN)

自组织神经网络(Self Organization Neural Network, SONN),又称自组织竞争神经网络,通过自动寻找样本中的内在规律和本质属性,自组织、自适应地改变网络参数与结构。通常通过竞争学习(Competitive Learning)实
242浏览
0点赞

自适应线性单元(Adaptive Linear Neuron, ADALINE)

1962年,斯坦福大学教授Widrow提出一种自适应可调的神经网络,其基本构成单元称为自适应线性单元(Adaptive Linear Neuron, ADALINE),其主要作用是线性逼近一个函数式而进行模式联想。该模型是最早用于实际工程解
359浏览
1点赞

反馈神经网络(FeedBack NN )

反馈神经网络(FeedBack NN ):又称递归网络、回归网络,是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中,神经元可以互连,有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神
224浏览
0点赞

前馈神经网络(FeedForward NN )

前馈神经网络(FeedForward NN ) :是一种最简单的神经网络,采用单向多层结构,各神经元分层排列,每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层,各层间没有反馈。前馈网络包括三类节点:■
我要发帖
神经网络算法
2021-05-12 17:06:31加入圈子
  • 30

    条内容
神经网络是所谓深度学习的一个基础,也是必备的知识点,他是以人脑中的神经网络作为启发,最著名的算法就是backpropagation算法,这里就简单的整理一下神经网络相关参数,和计算方法。