HMM的定义HMM即Hidden Markov Model，隐马尔可夫模型，是用来描述这样一种过程：有两类数据，一类是可以观测到的，为观测序列，一类是观测不到的，为隐藏状态序列，简称状态序列。比如知道一个人过去三天的活动序列是“逛街->运动->在家”，而想知道过去三天的天气序列是“晴-& ...

EM算法原理EM（Expectation Maximization）期望最大化。主要通过极大似然估计来实现隐含条件的概率估计。 通过实例来理解简单实例有两枚不规则的硬币，进行试验：先随机选一个硬币，然后抛掷5次，记录正面和反面的次数。这样的试验一共进行了5轮，我们知道的信息只有这5轮的结果为： 问 ...

提升树引入提升树相当于提升方法在CART上的应用。平常我们讲的提升树就是GBDT （Gradient Boosting Decision Tree），它是通过拟合损失函数的负梯度值在当前模型的值来实现提升的。注意这里我们不是拟合真实值，而是拟合梯度值，只是梯度跟真实值是有关系的。为什么？请往下看。 ...

提升方法对一个复杂任务来说，多个专家加权判断比一个专家单独判断效果要好，在机器学习中也一样。并且在机器学习中，训练一个高精度的模型比训练多个稍微粗糙的模型要困难得多，于是boosting(提升)方法被提出了。 提升方法在训练中主要需要解决两个问题： 1）数据的权重：基于什么原则向训练数据赋予权重； ...

演示视频 曲谱来自The Real Book 和声分析这首歌曲可以演奏为Swing风格，也可以Bossa Nova风格.上面的曲谱和演示是C大调。此曲段落少，只有A,B段；和声非常简单，仍然并且只有2-5-1的连接，所以不作详细解读。挑几个有趣的地方拿出来： 1）Minor和弦转同名Major ...

支持向量机的直观解释有两类数据需要分类器进行分类： 使用感知机可以实现，但是感知机有无数个解，因为感知机只关注样本数据有没有分错，所以无数条直线可以绘制出来，比如A和B 本文我们将使用SVM(support vector machine 支持向量机)来解决它。支持向量机不仅关注样本分类正确性，而且 ...

CART定义在上一篇决策树中，我们已经介绍了决策树的原理和ID3,C4.5算法。这一篇专门讲解CART算法。 CART即Classification and Regression Tree,分类与回归树。特点是：只有二叉树。 分类树CART用作分类树的时候跟ID3,C4.5决策树算法类似，只是特征分 ...

决策树决策树的定义决策树类似于人们进行决策的过程，从一个根节点开始，通过逐一特征的筛选，生成多个分支，每个叶子节点为一个分类 考虑下面的样本： 人们的决策过程： 我们看到对于青年来说，只要工作情况就能决定是否房贷，房子和信贷情况并没有起到区分作用。对所有年龄层的来说，信贷情况都是多余的特征。这个 ...

KNNKNN即K-NearestNeighbor分类器，是最简单的最初级的分类器。其核心思想是找到与待分类点最接近的K个样本点，然后把K个样本点中指向最多的那个类别认为是待分类点的类别。图示如下： 绿色圆圈为待分类的数据，蓝色方块为样本中的一类，红色三角为另一类。令K=4，也就是选取最近的4个样本 ...

感知机模型在n维度空间，有m个数据组成的线性可分的数据集，每个数据点都有对应的类别，但一共只有两个类别：,则存在一个超平面，( 其中 )能够准确地将所有的C1和C2数据区分开来，使得他们分别在在超平面的两边。 感知机只针对线性可分的数据，超平面在二维空间是一条线，在三维空间就是一个平面。 线性可分： ...