#机器学习理论

所谓概率模型，顾名思义，就是将学习任务归结于计算变量的概率分布的模型。 概率模型非常重要。在生活中，我们经常会根据一些已经观察到的现象来推测和估计未知的东西——这种需求，恰恰是概率模型的推断（Inference）行为所做...

线性可分 SVM import numpy as np import matplotlib.pyplot as plt from sklearn.svm import SVC # "Support vector clas...

严格的线性回归 线性回归是在向量空间里用线性函数去拟合样本。 该模型以所有样本实际位置到该线性函数的综合距离为损失，通过最小化损失来求取线性函数的参数。参见下图： 对于线性回归而言，一个样本只要不是正好落在最终作...

class binary_classification(object): def __init__(self, kernel, C=1.0, max_iter=1000, tol=0.001): ...

线性可分 SVM 学习的训练数据本身就是线性可分的，可以很清晰地在特征向量空间里分成正集和负集。 线性可分 SVM 正负样本之间的间隔叫做“硬间隔”，也就是说在这个“隔离带”里面，肯定不会出现任何训练样本。 我们不难想到...

一般情况下，我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。 而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。 主问题 现在我们考虑在 $d$ 维空间上有 $m$ 个等式约束条件和 ...

线性可分支持向量机（Linear Support Vector Machine） 线性可分和超平面 二分类问题 二分类问题就是：给定的各个样本数据分别属于两个类之一，而目标是确定新数据点将归属到哪个类中。 特征的向量空间...

构建决策树 步骤: 1. 准备若干的训练数据（假设 m 个样本）； 2. 标明每个样本预期的类别； 3. 人为选取一些特征（即决策条件）； 4. 为每个训练样本对应所有需要的特征生成相应值——数值化特征； 5. 将通过...