搜索:共识算法

云原生是什么?软件开发的现代方

转载 2019-03-17 23:55 阅读(120)次
“云原生”这个词被大量引用,尤其是云服务商。不仅如此,云原生甚至还有自己的基金会:由Linux基金会于2015年推出的云原生应用基金会(CNCF)。 “云原生”定义 在一般用法中,“云原生”是一种构建和运行应用程序的方法,它利用了云计算交付模型的优势。“云原生”是关于如何创建和部署应用程序,和位置无关。 这意味着应用程序位于云中,而不是传统数据中心。 CNCF将“云原生”定义的更为狭窄,意味着使用开源软件堆栈进行容器化,其中应用程序的每个部分都打包在自己的容器中,动态编排,以便每个部分都被主动调度和管理,以优化资源利用率和面向微服务的应用程序,以提高应用程序的整体灵活性和可维护性。 咨询公司D...

InfluxDB

原创 2018-07-18 16:05 阅读(223)次
如果对时序数据库概念还不是很了解,建议先看我的上一篇文章 What is a Time Series Database? InfluxDB主要用来对大量带时间戳数据的存储,包括DevOps监控,应用程序metrics,物联网传感器数据和实时分析。 通过配置InfluxDB以保持数据达到规定的时间长度,自动删除过期数据,从而节省机器空间。 InfluxDB还提供类似SQL的查询语言,用于与数据交互。 它用GO编写,所以编译后是没有对外部依赖的二进制文件。 它具有高性能,对相同的数据有高吞吐量的插入,压缩和实施查询。TSM引擎允许高吞吐量的数据插入和数据压缩。 它提供了高性能的API和H...

LVS(转自朱双印博客)

转载 2018-07-14 16:15 阅读(304)次
上文我们提到iptables的原理,见 iptables概念(转自朱双印博客),本次依然是转载自朱双印博客的初识LVS与LVS-NAT。原文地址:http://www.zsythink.net/archives/2134 在了解LVS之前,最好已经熟练的掌握了iptables的相关概念与操作,否则在了解LVS时有可能会遇到障碍。 如果一台服务器承受过多的压力,那么服务可能会崩溃,所以,我们应该让一台服务器承受的压力在合理范围内,但是如果服务端必须要承受较大的压力,那么一台服务器可能无法满足我们的要求,所以我们可以使用多台服务器分摊这些压力,当一定数量的服务器作为一个整体对外提供服务,...

Jib初

原创 2018-07-10 18:34 阅读(232)次
什么是Jib 今天收到一条推送-----Google开源其Java容器化工具Jib,简化镜像构建全流程。出于对此好奇,我上github学习一下这新东西(之所以是新东西主要是我没听说过,当然搜索发现也鲜有资料) JAVA自出现以来最大的优点就是 "write once, run anywhere"。 主要就是因为他的字节码是运行在有统一标准的JVM上。JVM虽然不同(多种JVM可以看一下我之前的文章 JVM的种类 ),但他们都遵循相同的标准和约定对字节码进行执行,同时又根据所在操作系统和硬件环境,透明化的进行了底层调用。JVM  就是J...

K-means算法的优化目标和初始化要点

原创 2018-07-08 23:23 阅读(188)次
K-means算法的优化目标 K-means算法的原来我在上一篇 K-means算法原理 提到了。但具体实现还有几个要点需要注意。 K-means算法的结果很依赖于一开始初始化类别点,不同初始化点会得到不同的聚类结果,但全局最优解往往只有一个,其他的结果只能是局部最优解。 如何分辨全局最优解还是局部最优解? 这就需要一个判定的方法。这和分类,回归问题一样(最小化代价函数),需要找到K-means算法的最优化目标。 运行K-means算法中有两组重要的变量将会随着算法运行而不断改变,第1个就是每个数据点在每轮循环的时候所属于的类别,也就是每个类别暂时包含的数据点集合。第2个即...

K-means算法原理

原创 2018-07-06 21:31 阅读(114)次
  想到聚类算法,最出名的应该就是K-means算法了。本文从数学的角度来介绍K-means算法的原理 不过我上几周跟一位程序员朋友聊天,提到聚类,他不经意的回了一句,就是分类是吧。这不禁让我想起我初学机器学习的时候也是没搞清楚分类和聚类的区别。这里我们先明确一下两者的不同。 分类是监督学习的一种,也就是训练数据含有label,且label的名称(或者叫类别)和总数量是固定的,算法通过训练数据后得到模型,对新的未知label数据(预测数据)进行label的预测。 聚类是非监督学习的一种,训练数据不含有label,算法直接作用于预测数据,将其分为指定数量的类别,这里的类别没有已知名称,...

从架构特点到功能缺陷,重新认分析型分布式数据库(转)

转载 2018-06-26 18:16 阅读(113)次
最近阅读了   海边的Ivan   在  架构文摘   公众号上对几种分布式数据库的研究,结合我以前用elasticsearch时候遇到的并发问题,有种茅塞顿开的感觉。文章结构清晰,这边转载过来作为自己个人学习,原文地址   https://mp.weixin.qq.com/s?__biz=MzIyNjE4NjI2Nw==&mid=2652560761&idx=1&sn=6347d8e4f10d49c93aa589429e9fc9b6,如有不妥,请联系我删除。首先还是感谢作者lva...

linux一次性删除过多文件的方

原创 2018-06-25 16:56 阅读(135)次
linux 要用命令行一次性删除某个目录下的文件,一般是用rm -rf ,如文件太多,会报参数过多无法执行。 这里提供一个小技巧。 可以用find通过找出早于多少天前的文件删除。如下13天前修改的文件删除 find ./ -mtime +13 -print|xargs rm -vf 这样做就能避免文件过多报错的问题。 如果只是要删除13天前那一天的文件,去掉+号。 特别注意:这个13天前会精确到时分秒,也就是执行是2月15日 18:05,则2月12号的18:05前的文件被会被删除。18点06分以后的还存在。 本文我原来写在csdn,现在搬到自己的空间来。

最优化方入门(一)

原创 2018-05-30 00:36 阅读(123)次
一直很不明白为什么招机器学习岗位都要求研究生以上的学历。笔者面试过很多人,也遇到过一些名牌大学高材生和研究生,发现在软件开发方面其实这些人并未必比一些培训机构出来的小伙子更适合。因为他们中的本科生很可能也是在大学中虚度光阴(基本都是哈,因为重点大学牛逼的都去考研考博了),而研究生为了考研确实在数学上下了一些功夫,但或许因为为了考得上,还要把很多精力放在政治,英语等科目上,在软件开发方面说实话并没有什么实战经验,甚至存在浑水摸鱼的情况,要价还很高。不过直到我在学习机器学习的时候,发现数学的重要性后,认为研究生(我指确实认真读书的那些研究生)确实有一定优势,基本就是数学和英语方面。而最优化理论又是...

一致性问题和共识算法

原创 2018-05-24 10:50 阅读(119)次
随着单机(单服务器),分布式已经是现在的主流。但分布式一定会遇到一致性问题。 所谓一致性就是分布式环境中的各个节点在一段操作后,使得他们对处理结果都保持一定程度的一致。这里的一致性分为不同级别,但总之只有满足一致性,对外才能呈现为一个功能正常的,且性能和稳定性都要好很多的“虚处理节点”。 对于访问分布式系统的用户来说,他一般是无法选择具体访问某个节点,当然他也不应该关心需要访问哪个节点,他看到的一个服务,而这个服务具体背后的结构对用户是透明的。所以如果分布式系统没有一致性,用户多次访问被分配到不同的节点,得到了不同的响应,怕是没人敢用这个服务了吧,比如售票服务。 注意:一致性并不代表结果正确与...

tensorflow主要函数用(持续更新)

原创 2018-05-13 02:20 阅读(103)次
tensorflow有很多函数便于神经网络的计算。本文将持续更新。 tf.clip_by_value tf.clip_by_value(    t,    clip_value_min,    clip_value_max,    name=None) 将tensor限制在最小值和最大值之间。修建了tensor 参数t ,主要用来避免数学上一些不应该出现的计算,比如分母是0,log0等这类计算出现 常见用法如下。v = tf.constant([[l.O, 2.0, 3.0], (4.0,5.0,6.0]]) ...

梯度下降处理正则化后的逻辑回归,解决过拟合

原创 2018-04-08 01:00 阅读(126)次
逻辑回归的代价函数是 这个可以看  分类之逻辑回归的代价函数costfunction 过拟合问题和正则化可以看这里       欠拟合,过拟合问题     正则化-解决过拟合 正则化后就是加入了惩罚项:  带入梯度下降法     得到 这和线性回归部分看似相同,但记得h(θ)是sigmoid函数,而线性回归h(θ)是线性方程。 会发现,其实是在θj的部分,多乘上一个 ,而由于α , λ , m 皆为正数,所以实际上每进行一个梯度下降的循环,θj都缩小一些。而后面...

正规方程处理正则化后的线性回归,解决过拟合

原创 2018-04-08 00:00 阅读(315)次
没有正则化的线性回归正规方程法可以看这边 : 线性回归之正规方程法求解 正规方程法是通过 这个推导出的,现在  带入求导可推出(推导过程略,都是数学的东西) andrew ng在他的视频中推导出了结果: 跟未正则化的正规方程法相比,增加了λ 和一个 (n+1)* (n+1)的矩阵的相乘,n是样本的特征项数。 这个矩阵和单元矩阵略有不同,差别是第1行第1列的位置为0而不是1。 本文完。 本站作品的版权皆为作品作者所有。本站文字和内容为本站编辑或翻译,部分内容属本站原创,所以转载前务必通知本站并以超链接形式注明内容来自本站,否则以免带来不必要的麻烦。本站内容欢迎分...

octave 求最值的优化方fminunc

原创 2018-04-02 18:07 阅读(195)次
octave(matlab)中有一个fminunc方法,可以用优化算法进行求解,算法有BFGS,L-BFGS,共轭梯度法等。 fminunc有个限制,就是指能用来求参数大于等于2的(也就是二元或二元以上方程)。 如果要求一元方程的最值求解,要用fminbnd方法,本文不涉及。 fminunc方法接受2个或者3个参数: 1.  FCN     指向需要求最值的函数的指针 2.  X0        初始的参数值,可以假设如(0;0) 3.  OPTIONS  &nbs...

用优化算法解线性回归

原创 2018-04-02 17:51 阅读(140)次
之前介绍过用梯度下降法和正规方程法求解线性回归。 本文将介绍用优化算法求解线性回归。 优化算法有很多种,见 优化算法清单,时间有限,我还在学习和补充中。优化算法中的其中一种就是求最值问题。线性回归的求解思路就是把cost function求最小化。 因为线性回归只有一个特征项的时候,但对应的函数为  ,我们会对应一个2*1矩阵的参数对应,第一个参数θ_0恒等于1,也就是大于等于2维的参数矩阵。 此时需要使用fminunc方法, 方法介绍见   octave 求最值的优化方法fminunc 直接上代码 步骤1,定义需要优化的线性回归的代价函数 funct...

数学-最小二乘

转载 2018-03-23 16:54 阅读(104)次
我这里转载知乎上 司马懿 的回答,我个人认为通俗易懂,写得非常好。原文地址在 知乎-最大似然估计和最小二乘法怎么理解?的回答 设想一个例子,教育程度和工资之间的关系。我们观察到的数据无非就是一个教育程度,对应着一个工资。我们希望的自然是找到两者之间的规律:如果把教育程度的初中、高中、大学、研究生及博士定义为1234的话,我们希望找到类似于工资=1000 +2000x教育程度  的这种规律,其中1000和2000是我们需要从数据里面发现的,前者称之为底薪,后者称之为教育增量薪水。 如果我们就观察到两个数据,那解起来很简单,直接把两个数据带进去,二元一次方程组,就得到底薪和教育...

共轭梯度

原创 2018-03-22 10:26 阅读(102)次
参考了百度文库的此文,加以个人理解:https://wenku.baidu.com/view/593769d8a76e58fafbb00393.html 无约束最优化问题,即为在不对所求问题定义域或值域做任何限制情况下,对目标函数求最小值的一类问题。 简单说就是 y=f(x)的函数,就是对x,y都没有限制,求f(x)最小值的问题。 无约束最优化问题的求解方法大多是采用逐次一维搜索的迭代算法。这类迭代算法可分为两类。一类需要用目标函数的导函数,称为解析法;另一类不涉及导数,只用到函数值,称为直接法。 看我的 梯度下降法  一文的很快会发现梯度下降就是第一类。 其中属于解析型的...

线性回归之正规方程求解

原创 2018-03-20 21:05 阅读(130)次
在 线性回归用梯度下降求解 中我们用梯度下降法求出了结果。 但线性回归还有另外一种更便捷的方法,正规方程法,Normal Equation。 θ=(XTX)−1XTy 用这个公司,可以直接求出Θ参数矩阵,从何得到h(x). 其中X表示了m条记录的样本数据,每条记录有n个特征项。 所以X就是 m*(n+1) 的矩阵 , X的转置就是(n+1) * m矩阵。 y 是训练数据的目标特征向量,即是m*1 的矩阵。 因此   XTX      是 (n+1)*(n+1) 矩阵, 他的逆矩阵就 (n+1)*(n+1)的矩阵,...

神经网络

原创 2018-03-16 22:46 阅读(134)次
有一些问题,如果他不是线性问题,无法用线性回归来处理。因为他需要非线性方程才能拟合训练数据。而非线性方程意味着存在多项式,比如只有x1,x2的两种特征项,那多项式有可能是x1^2,x1x2,x2^2,x1^3,x2^3,(x1^2)x2,.....等等,但当特征项有100个的时候,x1,x2,x3, .....x100,那多项式的组合就是几何倍的增长。 例如计算机视觉问题,分辨一张图片是什么类型的事物,一张图片即使只有30*30的分辨率,他也意味着有900个数据点,而这数据点的数量就是特征项数目。如果用多项式来做计算,那就是都是一个计算量浩大的工程。 所以只是增加多项式来拟合数据的一些算法,比...

线性回归的cost function 等高线图分析

原创 2018-03-16 10:51 阅读(150)次
从上文  线性回归的cost function 3D图形分析法 我们能大概看出cost function的趋势和最低点,但3D图形并不那么直观。本文介绍用等高线图来分析cost function。 基本求J值的方法是一样的, clear ; close all; clc data = load('ex1data1.txt'); X = data(:, 1); y = data(:, 2); m = length(y); X = [ones(m, 1), data(:,1)]; % m * 2 theta0_vals = linspace(-1...

线性回归的cost function 3D图形分析

原创 2018-03-04 22:31 阅读(146)次
在上文 线性回归的cost function 2D图形分析法 我们假设θ0 =  0 ,使J(θ0,θ1) 变成 J(θ1)。所以可以用2D图形来表示J(θ)函数。本文将认为θ0 !=0,cost function  将有两个自变量的函数J(θ0,θ1) ,就是需要3D图形来表示(x轴θ0,y轴θ1,z轴为J(θ0,θ1))的值。 想要得到如下图的效果, 首先我们需要样本数据,这里用andrew Ng 课程一个的数据作为绘图的样本数据。 数据共97行,每行2列,第1列是特征项x,第2列是目标值y。我截取一些如下 6.1101,17.592 5.5277,...

线性回归的cost function 2D图形分析

原创 2018-03-04 17:52 阅读(113)次
在 线性回归的求解原理和cost function 一文中我们已经介绍了线性回归的cost function和他的作用。 本文我们从cost function 的图形上来发现J的最小值。 预测函数 :           cost function :   为了理解方便,我们假设θ0 =  0 ,这样预测函数为 h(x) = 0 + θ1x =   θ1x  ,   对于cost function的自变量就只有θ1和因变量y...

docker

原创 2018-02-13 16:40 阅读(131)次
需求    功能    和虚拟机的区别    镜像    容器   docker到底是什么需求       随着云计算的发展,现在越来越少公司是自己采购服务器或者租用IDC的固定服务器机架的方式来部署应用了。阿里云,腾讯云,金山云,Amazon,google, 微软等云服务提供商已经大量使用虚拟化计算来提供云服务       想想云服务还没兴起的那几年,也是笔者入行的时候,开发...