SVM的核方法和损失函数

学习目标

1. 知道常用的核方法
2. 知道SVM的损失函数

1. 核方法

当存在线性不可分的场景时，我们需要使用核函数来提高训练样本的维度、或者将训练样本投向高维

高斯核函数使用较多。

1. 线性核：一般是不增加数据维度，而是预先计算内积，提高速度
2. 多项式核：一般是通过增加多项式特征，提升数据维度，并计算内积
3. 高斯核（RBF、径向基函数）：一般是通过将样本投射到无限维空间，使得原来不可分的数据变得可分。
4. 其他了解即可

SVM 默认使用 RBF 核函数，将低维空间样本投射到高维空间，再寻找分割超平面。

2. 损失函数

0-1 损失：

1. 当正例样本落在 y=0 下方则损失为 0，否则损失为 1.
2. 当负例样本落在 y=0 上方则损失为0，否则损失为 1.

Hinge （合页）损失：

1. 当正例落在 y >= 1 一侧则损失为0，否则距离越远则损失越大.
2. 当负例落在 y <= -1 一侧则损失为0，否则距离越远则损失越大.

Logistic 损失：

1. 当正例落在 y > 0 一侧，并且距离 y=0 越远则损失越小.
2. 当负例落在 y < 0 一侧，并且距离 y=0 越远则损失越小.

3. 小结

1. 常用的核方法：线性核，多项式核，高斯核
2. 损失函数包括 0-1 损失，Hinge （合页）损失，Logistic 损失