1. 原理

1.1 回归方程

多元线性回归是一个样本有多个特征的线性回归问题，对于一个有n个特征的样本i而言，它的回归方程为：

$\hat{y_i}=w_0+w_1x_{i1}+w_2x_{i2}+...+w_nx_{in}$

$w$统称为模型的参数，其中 $w_0$被称为截距(intercept)，$w_1$~ $w_n$被称为回归系数，$x_{i1}$~ $x_{in}$是样本 $i$上的不同特征，如果有m个样本，则回归结果为：

$\hat{\textbf{y}}=w_0+w_1\textbf{x}_1+w_2\textbf{x}_2+...+w_n\textbf{x}_n$

1.二元回归与多元回归：重要参数

1.1 solver & multi_class

之前对逻辑回归的讨论，都是针对二分类的逻辑回归展开，其实sklearn提供了多种可以使用逻辑回归处理多分类问题的选项。比如说，我们可以把某种分类类型都看作1，其余的分类类型都为0值，和”数据预处理“中的二值化的思维类似，这种方法被称为"一对多"(One-vs-rest)，简称OvR，在sklearn中表示为“ovr"。

1. 原理

1.1 参数$\theta$和x

在逻辑回归的本质函数 $y(x)$里， $\theta$是参数，x是自变量。在损逻辑回归的损失函数中，$\theta$是自变量，x是参数。

逻辑回归的损失函数:

$J(\theta) = -\sum_{i=1}^{m}{(y_i*log(y_\theta(x_i))+(1-y_i)*log(1-y_\theta(x_i)))}$

$\theta$表示求解出来的一组参数，m是样本个数，$y_i$是样本i真实的标签，$y_\theta(x_i)$是样本i基于参数 $\theta$计算出的逻辑回归返回值，$x_i$是样本i各个特征的取值。我们目的是求解出使 $J(\theta)$最小的 $\theta$值。

1. 原理

着重探讨研究支持向量机分类器，比如有一组二分类的数据，支持向量机的分类方法是在这组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差尽量小，尤其是在未知数据集上的分类误差（泛化误差）尽量小。

kmeans 的“损失函数”，打了个引号，说明不太严谨，类似逻辑回归的损失函数

n_clusters参数，即KMeans的k，默认为8，一般想要小于8的类，如果数据可以可视化，先可视化，然后选择k，这里用make_blobs创建数据，返回特征矩阵X和标签y，make_blobs(n_samples,n_features,)，画子图，plt.subplot() 参数是生成几个子图，返回时画布和对象，记为fig和ax1，对ax1填充scatter散点图，

kmeans的predict，在数据量大时使用，比如50w行数据，先用2000行数据fit迭代出一个较好的聚类模型，再把剩余数据predict出聚类结果。inertia 整体平方和，对不同的簇找出质心，