机器学习中的牛顿法和拟牛顿法

## 1. 训练神经网络的5大算法 在神经网络中, 处理学习进程的程序称为训练算法. 有许多这样的训练算法, 并有不同的特点和效用. 在训练神经网络中, 算法的目的就是求出极值点, 在此之中, 有5大算法.

继续阅读


神经网络中的正向传播与反向传播

我们知道, 一个简单的神经网络可以是这样的, 分为多个层, 输入层、隐藏层和输出层. 在层与层之间, 有权重 $w_{ij}^k$ , 表示第k层的第i个节点到下一层的第j个节点的权重. 再每一层, 都会有个激活函数, 用于归一化, 也可以说是计算该层节点的输出.

继续阅读


基于方差的梯度下降算法

## 梯度下降算法简介 梯度下降算法是寻找函数极小值点的迭代优化算法. 必须基于当前点的梯度(或近似梯度)方向的反方向进行规定步长距离进行迭代搜索, 以达到接近极小值的算法. 假如按梯度相同方向迭代搜索, 就会接近极大值, 称为梯度上升法.

继续阅读


Powered by Django 2. Copyright © 2014.

huchengbei.com. All rights reserved.