搜索:交叉熵

交叉(转载知乎)

转载 2018-05-14 17:07 阅读(171)次
我看了很多关于交叉熵和相对熵的帖子,大同小异,没有太多考虑入门水平的人的理解力。难得在知乎上看到这个回答,我觉得很棒,进行了转载。知乎关于交叉熵的回答有很多,我只转载的CyberRep答案。如果不能转载,还烦请联系我。 如果不知道什么是熵,要可以看看我这篇 信息量和信息熵作者:CyberRep链接:https://www.zhihu.com/question/41252833/answer/195901726来源:知乎讨论这个问题需要从香农的信息熵开始。小明在学校玩王者荣耀被发现了,爸爸被叫去开家长会,心里悲屈的很,就想法子惩罚小明。到家后,爸爸跟小明说:既然你犯错了,就要接受惩罚,...

信息量和信息

原创 2018-05-13 19:07 阅读(158)次
介绍信息量是为了介绍信息熵,而介绍信息熵是为了机器学习中常用到的一个概念,交叉熵。 先解释一下信息:信息是用来消除不确定性的消息。 信息量:顾名思义,表示信息多少,是一种量化方式,但信息是用概率来量化的。 一个消息中包含了几个事件,x表示其中一个事件,p(x)表示x这个事件发生的概率,这个概率一般是先验概率。 比如公司抽奖,将全体员工的工号写在乒乓球上,放入抽奖箱,老板抽取,公司员工共50人,那这时候抽中我的概率就是1/50。抽中任何人的概率都是1/50。 而信息量的公式       代入p=1/50 等于 5.6439 这时候有个同事偷放入了写有他...