搜索:Gradient Descent

共轭梯度法

原创 2018-03-22 10:26 阅读(102)次
参考了百度文库的此文,加以个人理解:https://wenku.baidu.com/view/593769d8a76e58fafbb00393.html 无约束最优化问题,即为在不对所求问题定义域或值域做任何限制情况下,对目标函数求最小值的一类问题。 简单说就是 y=f(x)的函数,就是对x,y都没有限制,求f(x)最小值的问题。 无约束最优化问题的求解方法大多是采用逐次一维搜索的迭代算法。这类迭代算法可分为两类。一类需要用目标函数的导函数,称为解析法;另一类不涉及导数,只用到函数值,称为直接法。 看我的 梯度下降法  一文的很快会发现梯度下降就是第一类。 其中属于解析型的...

线性回归用梯度下降求解

原创 2018-03-19 11:46 阅读(110)次
对于多元线性回归还是一元线性回归,他们使用梯度下降求解的方法是相同的。 梯度下降法的介绍在这里: 梯度下降 gradient descent 都是遵循线性梯度下降方法,区别只是同时更新的θ的个数         代入 相当于 使用梯度下降法的几个加快收敛的注意事项: 1.    特征缩放 如果有多个特征项,他们的取值范围差异很大,会造成对应他们的θ的取值范围也很大。 假设x1 取值范围较大,对应的θ1的取值范围则会较小,因为θ1也改变得较大,会造成h(x)的振幅很大。反之亦然。 这样不利于梯度下降收敛。由于Θ中有一...

梯度下降 gradient descent

原创 2018-02-25 20:34 阅读(140)次
梯度下降法,用来最小化一个函数的方法,可以用在机器学习的很多地方,特别是cost function,但不仅限于此。 也有称之为最速下降法。 梯度下降的原理就是沿着曲线逐步调整,以一定的学习速率向最低点移动,直到找到全局最低点或者局部最低点。 梯度下降需要有一下几个注意事项: 1.   因为很可能会停留在局部最低值,所以对应的曲线图形最好是凸函数图形,即只有全局最低点,不存在局部最低点的图形,这样就可以排除局部最低点的困扰。 如图,因为到了X点的时候,导数是0,梯度下降不会在移动参数了,认为是最低点了,但其实红点才是最低点。 2.   学习速率的选择,就...

分类之逻辑回归的代价函数costfunction梯度下降求解

原创 2018-02-25 17:14 阅读(139)次
我们在 分类之  分类之逻辑回归的代价函数costfunction  此文中已经给出了cost function, 现在我们要求解。 依然是用梯度下降法来求解,找到cost function  的最小值    minJ(θ)。 因为minJ(θ) 就是说明预测和真实值最接近,预测函数得出的错误“代价”最小。        梯度下降法就是重复做下面的计算 而后半部分求导得到         ...