搜索:分类

K-means算法的优化目标和初始化要点

原创 2018-07-08 23:23 阅读(188)次
K-means算法的优化目标 K-means算法的原来我在上一篇 K-means算法原理 提到了。但具体实现还有几个要点需要注意。 K-means算法的结果很依赖于一开始初始化类别点,不同初始化点会得到不同的聚类结果,但全局最优解往往只有一个,其他的结果只能是局部最优解。 如何分辨全局最优解还是局部最优解? 这就需要一个判定的方法。这和分类,回归问题一样(最小化代价函数),需要找到K-means算法的最优化目标。 运行K-means算法中有两组重要的变量将会随着算法运行而不断改变,第1个就是每个数据点在每轮循环的时候所属于的类别,也就是每个类别暂时包含的数据点集合。第2个即...

K-means算法原理

原创 2018-07-06 21:31 阅读(114)次
  想到聚类算法,最出名的应该就是K-means算法了。本文从数学的角度来介绍K-means算法的原理 不过我上几周跟一位程序员朋友聊天,提到聚类,他不经意的回了一句,就是分类是吧。这不禁让我想起我初学机器学习的时候也是没搞清楚分类和聚类的区别。这里我们先明确一下两者的不同。 分类是监督学习的一种,也就是训练数据含有label,且label的名称(或者叫类别)和总数量是固定的,算法通过训练数据后得到模型,对新的未知label数据(预测数据)进行label的预测。 聚类是非监督学习的一种,训练数据不含有label,算法直接作用于预测数据,将其分为指定数量的类别,这里的类别没有已知名称,...

JVM的种

转载 2018-06-30 14:46 阅读(146)次
    JVM的种类 转自 CSDN, https://blog.csdn.net/lxlmycsdnfree/article/details/69286099 作者:lxlmycsdnfree 如有不妥,请联系我删除,我删除掉了一些太冷门的内容,补了我的一些废话,见谅。 JVM是JAVA虚拟机,有固定的标准规范,各家厂商只要遵循这个标准,是可以实现自己的JVM。 HotSpot VM 现在常见的都是HotSpot VM,因为他是最常见的JDK(Oracle / Sun JDK、OpenJDK)都使用的VM。而绝大多数java coder都使用这两种JD...

神经网络实现多分类的思路

原创 2018-04-12 17:34 阅读(342)次
在逻辑回归算法的分类问题中,我们提到过    多分类问题的求解思路。 在神经网络中,思考的方向也是一样的。 即是给预测的类别(预测概率最高的类别)为1,其他分类为0来表示。 神经网络中的实现思路 是在输出层做出N个节点(N为类别总数),这样在输出不在是一个数,而是一个N维向量,这个向量在预测认为最有可能的分类对应的维度上表示为1,其他维度上表示为0. 如      被认为是第2类别。 但第几个类别不是我们空谈,需要训练样本支持,也是就是学习的训练样本的y值也应该是一个N维矩阵,并仅在认为的类别对应的维度上表示为1,其他为0。 如...

分类问题的求解思路

原创 2018-03-19 18:21 阅读(116)次
在 机器学习之分类入门 一文中,我们介绍过分类问题中有多分类的问题,在之前的介绍中,我们更多的都是在寻找二分类的问题的决策边界。在二维坐标系中,二分类的决策边界是一条直线,3D坐标系,决策边界是一个平面。 而多分类问题,假设类别有1,2,3,4   四种分类,四种分类的样本分布在二维坐标系中,此时是无法只用一条线把多种分类划分出来。但我们换位思考,我们把这些样本看成类别1和其他类别(包含了类别2,3,4) -----  两种分类,那就可以用一条线把类别1,和其他类别-1划分出来。同理,我们把样本看成类别2和其他类别(包含了类别1,3,4),那我...

分类之逻辑回归的代价函数costfunction梯度下降求解

原创 2018-02-25 17:14 阅读(139)次
我们在 分类之  分类之逻辑回归的代价函数costfunction  此文中已经给出了cost function, 现在我们要求解。 依然是用梯度下降法来求解,找到cost function  的最小值    minJ(θ)。 因为minJ(θ) 就是说明预测和真实值最接近,预测函数得出的错误“代价”最小。        梯度下降法就是重复做下面的计算 而后半部分求导得到         ...

分类之逻辑回归的代价函数costfunction

原创 2018-02-23 02:57 阅读(401)次
为什么不能用线性回归的cost function适合logistic regression的cost function为什么不能用线性回归的cost function 所谓代价函数,就是预测值和真实值的误差-----称为cost。而这个cost越小,说明预测越准确。也说明越拟合训练样本,也就能求出拟合训练样本的最好的θ。 如何去拟合训练样本,来找到θ 这个参数矩阵,就是求出分类预测函数h(x)剩下的问题了。 通过  线性回归的求解原理和cost function  一文,我们知道通过找到cost function的最低值,可以找出最佳的预测函数的方方法。 所以我们...

分类之逻辑回归和sigmoid函数

原创 2018-02-22 15:40 阅读(159)次
前文    机器学习之分类入门   我们提到线性回归并不适合分类问题,分类问题需要的输出是在0<=y<=1  这个范围内。所以我们需要一个假设函数的输出在这个范围。        逻辑回归就是用了这样一个函数,他就是sigmoid函数,他也叫logistic function。         sigmoid函数由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数(也叫激活函数,在神经网络中会介绍),将变量映射...

octave之数字

原创 2018-02-22 00:58 阅读(158)次
octave拥有数字类型,包含标量,矢量,矩阵。 标量 scalar标量就是单个数字。如果是实数整数,可以用二进制,十进制,十六进制表示。默认十进制。二进制由 0b或者0B开头,十六进制由0x或者0X开头下面是表示相同的值:42 # decimal notation 0x2A # hexadecimal notation 0b101010 # binary notation 0b10_1010 # underscore notation round (42.1) # also binary64 只有十进制数可以表示小数 .10...

机器学习之分类入门

原创 2018-02-14 16:37 阅读(148)次
分类问题    数学问题    线性回归不适用    目标    什么是分类问题       判断一个水果,他是苹果,梨子,葡萄,还是桔子。这就是分类问题。       判断一个人是否可以得到贷款,这也是分类问题。       判断一颗植物是否还能存活,这同样是分类问题。       判断一个水果还过多久才能成熟,这就...