#机器学习理论

HMM隐马尔可夫模型

一些基本概念 在正式讲解隐马尔可夫模型(Hidden Markov Model,HMM)之前,有几个概念需要搞清楚。 概率模型(Probabilistic Model) 所谓概率模型,顾名思义,就是 ...

SVR支持向量回归

严格的线性回归 线性回归是在向量空间里用线性函数去拟合样本。 该模型以所有样本实际位置到该线性函数的综合距离为损失,通过最小化损失来求取线性函数的参数。参见下图: 对于线性回归而言,一个样本只 ...

非线性SVM与核函数

从线性可分 SVM 到线性 SVM 从现实情况引出线性 SVM 线性可分 SVM 学习的训练数据本身就是线性可分的,可以很清晰地在特征向量空间里分成正集和负集。 线性可分 SVM 正负样本之间的间隔 ...

SVM对偶学习算法

一般情况下,我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。 而且,同一个函数可能同时既有等式约束条件,又有不等式约束条件。 主问题 现在我们考虑在 $d$ 维空间上有 $ ...

SVM拉格朗日乘子法

线性可分支持向量机(Linear Support Vector Machine) 线性可分和超平面 二分类问题 二分类问题就是:给定的各个样本数据分别属于两个类之一,而目标是确定新数据点将归属到哪个类 ...

机器学习决策树

决策树 构建决策树 步骤: 准备若干的训练数据(假设 m 个样本); 标明每个样本预期的类别; 人为选取一些特征(即决策条件); 为每个训练样本对应所有需要的特征生成相应值——数值化特征; 将通过上 ...