梯度下降法处理正则化后的逻辑回归,解决过拟合

原创 2018-04-08 01:00 阅读(126)次
逻辑回归的代价函数是 这个可以看  分类之逻辑回归的代价函数costfunction 过拟合问题和正则化可以看这里       欠拟合,过拟合问题     正则化-解决过拟合 正则化后就是加入了惩罚项:  带入梯度下降法     得到 这和线性回归部分看似相同,但记得h(θ)是sigmoid函数,而线性回归h(θ)是线性方程。 会发现,其实是在θj的部分,多乘上一个 ,而由于α , λ , m 皆为正数,所以实际上每进行一个梯度下降的循环,θj都缩小一些。而后面...

多分类问题的求解思路

原创 2018-03-19 18:21 阅读(116)次
在 机器学习之分类入门 一文中,我们介绍过分类问题中有多分类的问题,在之前的介绍中,我们更多的都是在寻找二分类的问题的决策边界。在二维坐标系中,二分类的决策边界是一条直线,3D坐标系,决策边界是一个平面。 而多分类问题,假设类别有1,2,3,4   四种分类,四种分类的样本分布在二维坐标系中,此时是无法只用一条线把多种分类划分出来。但我们换位思考,我们把这些样本看成类别1和其他类别(包含了类别2,3,4) -----  两种分类,那就可以用一条线把类别1,和其他类别-1划分出来。同理,我们把样本看成类别2和其他类别(包含了类别1,3,4),那我...

分类之逻辑回归的代价函数costfunction梯度下降求解

原创 2018-02-25 17:14 阅读(139)次
我们在 分类之  分类之逻辑回归的代价函数costfunction  此文中已经给出了cost function, 现在我们要求解。 依然是用梯度下降法来求解,找到cost function  的最小值    minJ(θ)。 因为minJ(θ) 就是说明预测和真实值最接近,预测函数得出的错误“代价”最小。        梯度下降法就是重复做下面的计算 而后半部分求导得到         ...

分类之逻辑回归的代价函数costfunction

原创 2018-02-23 02:57 阅读(400)次
为什么不能用线性回归的cost function适合logistic regression的cost function为什么不能用线性回归的cost function 所谓代价函数,就是预测值和真实值的误差-----称为cost。而这个cost越小,说明预测越准确。也说明越拟合训练样本,也就能求出拟合训练样本的最好的θ。 如何去拟合训练样本,来找到θ 这个参数矩阵,就是求出分类预测函数h(x)剩下的问题了。 通过  线性回归的求解原理和cost function  一文,我们知道通过找到cost function的最低值,可以找出最佳的预测函数的方方法。 所以我们...

分类之逻辑回归和sigmoid函数

原创 2018-02-22 15:40 阅读(159)次
前文    机器学习之分类入门   我们提到线性回归并不适合分类问题,分类问题需要的输出是在0<=y<=1  这个范围内。所以我们需要一个假设函数的输出在这个范围。        逻辑回归就是用了这样一个函数,他就是sigmoid函数,他也叫logistic function。         sigmoid函数由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数(也叫激活函数,在神经网络中会介绍),将变量映射...

机器学习之分类入门

原创 2018-02-14 16:37 阅读(148)次
分类问题    数学问题    线性回归不适用    目标    什么是分类问题       判断一个水果,他是苹果,梨子,葡萄,还是桔子。这就是分类问题。       判断一个人是否可以得到贷款,这也是分类问题。       判断一颗植物是否还能存活,这同样是分类问题。       判断一个水果还过多久才能成熟,这就...