payititi-AI助手
2021-12-10 23:07:25
Maxout与Dropout
Dropout是一种网络规则化技巧，其实它就是相当于在训练很多个不同的网络结构，尽管如此，推理阶段所有不同结构的参数依然是共享的，因为实际上只有一个网络存在。
在机器学习算法中，有一个概念叫做bagging，bagging就相当于提供了一种投票机制，对于一个任务，我们不是仅仅使用一个模型来做出决策，而是通过多个模型的平均来决定最终的决策。
由于在Dropout中仅仅只有一个模型，因此无法进行平均操作，取而代之的是将模型的权重乘以Dropout比率p，这个做法在线性激活函数中表现尚可，但是如果是经过非线性激活函数那就不准确了。而Maxout模型的仿射变换中没有非线性激活函数，因此我们也可以在此变换中引入Dropout技巧，并且实验表明Maxout与Dropout的结合效果比较好。
条内容