搜索:loss function

神经网络的cost function

原创 2018-04-12 23:53 阅读(120)次
神经网络作为一个机器学习算法,跟逻辑回归,线性回归一样,也可以通过最小化代价函数cost function J(θ)来求预测函数h(θ)的θ。 逻辑回归的正则化cost function是 神经网络的cost function 是从上面的公式推导的 因为神经网络中输出层节点的激活函数都逻辑回归。但神经网络的输出层可能是K个节点,也就是输出是一个K维向量,在计算cost function的时候我们需要把这K维的值的cost都累加起来。 而正则项部分,因为神经网络中每个上层节点到下层节点都有权重(或者叫参数θ),所以需要都把他们加上,但不加上bias项的参数,这和逻辑回归是一样的,因为bias的...

线性回归的cost function 等高线图分析法

原创 2018-03-16 10:51 阅读(150)次
从上文  线性回归的cost function 3D图形分析法 我们能大概看出cost function的趋势和最低点,但3D图形并不那么直观。本文介绍用等高线图来分析cost function。 基本求J值的方法是一样的, clear ; close all; clc data = load('ex1data1.txt'); X = data(:, 1); y = data(:, 2); m = length(y); X = [ones(m, 1), data(:,1)]; % m * 2 theta0_vals = linspace(-1...

线性回归的cost function 3D图形分析法

原创 2018-03-04 22:31 阅读(146)次
在上文 线性回归的cost function 2D图形分析法 我们假设θ0 =  0 ,使J(θ0,θ1) 变成 J(θ1)。所以可以用2D图形来表示J(θ)函数。本文将认为θ0 !=0,cost function  将有两个自变量的函数J(θ0,θ1) ,就是需要3D图形来表示(x轴θ0,y轴θ1,z轴为J(θ0,θ1))的值。 想要得到如下图的效果, 首先我们需要样本数据,这里用andrew Ng 课程一个的数据作为绘图的样本数据。 数据共97行,每行2列,第1列是特征项x,第2列是目标值y。我截取一些如下 6.1101,17.592 5.5277,...

线性回归的cost function 2D图形分析法

原创 2018-03-04 17:52 阅读(113)次
在 线性回归的求解原理和cost function 一文中我们已经介绍了线性回归的cost function和他的作用。 本文我们从cost function 的图形上来发现J的最小值。 预测函数 :           cost function :   为了理解方便,我们假设θ0 =  0 ,这样预测函数为 h(x) = 0 + θ1x =   θ1x  ,   对于cost function的自变量就只有θ1和因变量y...

线性回归的求解原理和cost function

原创 2018-03-04 01:19 阅读(217)次
上一篇 机器学习之回归入门     我们介绍了线性回归,这次我们来讲解线性回归的求解。求解原理举例说明cost function求解原理 中学学的一元的线性方程 y  =  ax + b, 为了后面的讲解简单,我们用θ来表示参数,即为  ,也是  我们称之为预测函数。 θ的不同取值,表示了不同的线性方程,坐标系上就表示了不同的直线。只有一条直线是最拟合训练样本的,求解线性回归就是找出这条直线,也就是找出对应的(θ0,θ1)举例说明 如图 五个红星代表了5个训练样本,分别有3条线对应3个线性方程。  &n...