无须事先指定簇数量的聚类 说到聚类，最常见的模型当然是 KMeans。不过如果使用 KMeans 的话，需要在算法运行前指定 $k$ 的值——也就是要在训练前指定最后的结果被分为几簇。 现实中有相当多的聚类问题，无法事...

有监督学习和无监督学习，是机器学习两个大的类别。我们之前讲的都是有监督学习，毕竟有监督学习现阶段还是机器学习在实际应用中的主流。...

概率无向图模型（Probabilistic Undirected Graphical Model）是一个可以用无向图表示的联合概率分布。它的整体结构是一张图（Graph），图中每一个节点表示一个或者一组变量，节点之间的边...

所谓概率模型，顾名思义，就是将学习任务归结于计算变量的概率分布的模型。 概率模型非常重要。在生活中，我们经常会根据一些已经观察到的现象来推测和估计未知的东西——这种需求，恰恰是概率模型的推断（Inference）行为所做...

线性可分 SVM import numpy as np import matplotlib.pyplot as plt from sklearn.svm import SVC # "Support vector clas...

严格的线性回归 线性回归是在向量空间里用线性函数去拟合样本。 该模型以所有样本实际位置到该线性函数的综合距离为损失，通过最小化损失来求取线性函数的参数。参见下图： 对于线性回归而言，一个样本只要不是正好落在最终作...

class binary_classification(object): def __init__(self, kernel, C=1.0, max_iter=1000, tol=0.001): ...

线性可分 SVM 学习的训练数据本身就是线性可分的，可以很清晰地在特征向量空间里分成正集和负集。 线性可分 SVM 正负样本之间的间隔叫做“硬间隔”，也就是说在这个“隔离带”里面，肯定不会出现任何训练样本。 我们不难想到...