SVM通俗讲解

SVM(Support Vector Machine)

支持向量机相关理论介绍

基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种[3]：

第一种是经典的（参数）统计估计方法。包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性。

首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。

第二种方法是经验非线性方法，如人工神经网络（ANN）。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。与传统统计学相比，统计学习理论（Statistical Learning Theory或SLT）是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。V. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。

统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(Generalization Performance)等的重要结论。

统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）；

同时，这一理论基础上发展了一种新的通用学习方法──支持向量机（Support Vector Machine或SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。

支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。支持向量机方法的几个主要优点

有：

1. 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值；

2. 算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题；

3. 算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关；

在SVM方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、径向基函数(Radial Basic Function或RBF)方法、多层感知器网络等许多现有学习算法。

统计学习理论从七十年代末诞生，到九十年代之前都处在初级研究和理论准备阶段，近几年才逐渐得到重视，其本身也趋向完善，并产生了支持向量机这一将这种理论付诸实现的有效的机器学习方法。

目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。例如，在模式识别方面，对于手写数字识别、语音识别、人脸图像识别、文章分类等问题，SVM算法在精度上已经超过传统的学习算法或与之不相上下。

目前，国际上对这一理论的讨论和进一步研究逐渐广泛，而我国国内尚未在此领域开展研究，因此我们需要及时学习掌握有关理论，开展有效的研究工作，使我们在这一有着重要意义的领域中能够尽快赶上国际先进水平。由于SLT理论和SVM方法尚处在发展阶段，很多方面尚不完善，比如：许多理论目前还只有理论上的意义，尚不能在实际算法中实现；而有关SVM算法某些理论解释也并非完美（J.C.Burges在[2]中就曾提到结构风险最小原理并不能严格证明SVM 为什么有好的推广能力）；此外，对于一个实际的学习机器的VC维的分析尚没有通用的方法；SVM方法中如何根据具体问题选择适当的内积函数也没有理论依据。因此，在这方面我们可做的事情是很多的。

相关资源

SVM的英文主站，

https://www.sodocs.net/doc/a23319168.html,/

Support Vector Machine 作者的站点

https://www.sodocs.net/doc/a23319168.html,

piaip 的(lib)SVM 簡易入門

https://www.sodocs.net/doc/a23319168.html,/~piaip/svm/svm_tutorial.html

林智仁(cjlin)老師的libsvm for matlab

LIBSVM — A Library for Support Vector Machines

Chih-Chung Chang and Chih-Jen Lin

1. SVM的优势

（1）可以解决小样本情况下的机器学习问题

（2）可以提高泛化性能

（3）可以解决高维问题

（4）可以解决非线性问题

（5）可以避免神经网络结构选择和局部极小点问题2. SVM的研究热点

（1）模式识别

（2）回归估计

（3）概率密度估计

3. SVM的主要核函数

（1）多项式核函数

（2）径向基核函数

（3）Sigmoid核函数

4. SVM的应用

（1）文本分类

（2）人脸识别

（3）三维物体识别

（4）遥感图像分析

（5）函数逼近

（6）时间序列预测

（7）数据压缩

（8）优化SVM算法

（9）SVM改进方法

（10）SVM 硬件实现

5. SVM 的难点

（1）如何在非监督模式识别问题中应用统计学习理论（SLT ）

（2）如何用理论或实验的方法计算VC 维

（3）经验风险和实际风险之间的关系称之为推广性的界，但是当(h/n)>0.37时（h —VC 维，n —样本数），推广性的界是松弛的，如何寻找一个更好地反映学习机器能力的参数和得到更紧的界

（4）实现结构风险最小化（SRM ）时，如何选择函数子集结构

vc 维的本质和结构风险最小化

VC 维在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。

所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。

推广的界（经验风险和实际风险之间的关系，注意引入这个原因是什么？因为训练误差再小也就是在这个训练集合上，实际的推广能力不行就会引起过拟合问题还。 所以说要引入置信范围也就是经验误差和实际期望误差之间的关系）：

期望误差()()Re n R mp h ωω??≤+Φ ???

。注意()Re mp ω是经验误差也就是训练误差（线性中使得所有的都训练正确），n h ??Φ ???

是置信范围，它是和样本数和VC 维有关的。上式中置信范围Φ随

n h 增加，单调下降。即当n h

较小时，置信范围Φ较大，用经验风险近似实际风险就存在较大的误差，因此，用采用经验风险最小化

准则，取得的最优解可能具有较差的推广性；如果样本数较多，n h

较大，则置 信范围就会很小，采用经验风险最小化准则，求得的最优解就接近实际的最优解。可知：影响期望风险上界的因子有两个方面：首先是训练集的规模 n ，其次是 VC 维 h 。可见，在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制，这就是结构风险最小化（Structure Risk Minimization ，简称 SRM ）的由来。在有限的训练样本情况下，当样本数n 固定时，此时学习机器的 VC 维越高(学习机器的复杂性越高)，则置信范围就越大，此时，真实风险与经验风险之间的差别就越大，这就是为什么会出现过学习现象的原因。机器学习过程不但 要使经验风险最小，还要使其 VC 维尽量小，以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的

推广性，它与学习机器的 VC 维及训练样本数有关。

线性可分的问题就是满足最优分类面的面要求分类面不但能将两类样本正确分开（训练错误率为 0），而且要使两类的分类间隔最大（这个是怎么回事呢？原来是有根据的，这个让俺郁闷了好久呢。在 d 间隔下，超平面集合的 VC 维h 满足下面关系：

21h f d ??= ???

其中， ()f ?是单调增函数，即h 与d 的平方成反比关系。因此，当训练样本给定时，分类间隔越大，则对应的分类超平面集合的 VC 维就越小。）。根据结构风险最小化原则，前者是保证经验风险（经验风险和期望风险依赖于学习机器函数族的选择）最小，而后者使分类间隔最大，导致 VC 维最小，实际上就是使推广性的界中的置信范围最小，从而达到使真实风险最小。注意：置信范围大说明真实风险和经验风险的差别较大。

解释到这里了，终于有点眉目了，原来就是这么回事啊，真是的。总结一下就是训练样本在线性可分的情况下，全部样本能被正确地分类（这个不就是传说中的()1i i i y x b ω??+≥的条件吗），即经验风险Re mp 为 0 的前提下，通过对分类

间隔最大化（这个就是()2112w w ??Φ= ???

嘛），使分类器获得最好的推广性能。

那么解释完线性可分了，我们知道其实很多时候是线性不可分的啊，那么有什么区别没有啊？废话区别当然会有啦，嘿嘿那么什么是本质的区别啊？本质的区别就是 不知道是否线性可分但是允许有错分的样本存在（这个咋回事还是没明白hoho ）但是正是由于允许存在错分样本，此时的软间隔分类超平面表示在剔除那些错分 样本后最大分类间隔的超平面。这里就出现了新词松驰因子，干吗用滴？就是用来控制错分样本的啊。这样的话经验风险就要跟松驰因子联系在一起了。而C 就是松 驰因子前面的系数，0C >是一个自定义的惩罚因子，它控制对错分样本惩罚的程度，用来控制样本偏差与机器推广能力之间的折衷。C 越小，惩罚越小，那么训练误差就越大，使得结构风险 也变大，而C 越大呢，惩罚就越大，对错分样本的约束程度就越大，但是这样会使得第二项置信范围的权重变大那么分类间隔的权重就相对变小了，系统的泛化能力就变差了。所 以选择合适的C 还是很有必要的。

选择核函数。

核函数有很多种，如线性核、多项式核、Sigmoid 核和 RBF （Radial Basis function ）核。本文选定 RBF 核为 SVM 的核函数（RBF 核()()2exp K γ=-x,y x -y ，0γ>）

。因为RBF 核可以将样本映射到一个更高维

的空间，可以处理当类标签（Class Labels ）和特征之间的关系是非线性时的样例。Keerthi 等[25]证明了一个有惩罚参数C 的线性核同有参数(),C γ（其中C 为惩罚因子，γ为核参数）的 RBF 核具有相同的性能。对某些参数，Sigmoid 核同 RBF 核具有相似的性能[26]。另外，RBF 核与多项式核相比具有参数少的优点。因为参数的个数直接影响到模型选择的复杂性。非常重要的一点是01ij K <≤与多项式核相反，核值可能趋向无限（1i j x x r γ+>）或者（01i j x x r γ<+<），跨度非常大。而且，必须注意的是Sigmoid 核在某些参数下是不正确的（例如，没有两个向量的内积）。

(4)用交叉验证找到最好的参数C 和γ。使用 RBF 核时，要考虑两个参数C 和γ。因为参数的选择并没有一定的先验知识，必须做某种类型的模型选择（参数搜索）。目的是确定好的(),C γ使得分类器能正确的预测未知数据（即测试集数 据），有较高的分类精确率。值得注意的是得到高的训练正确率即是分类器预测类标签已知的训练数据的正确率）不能保证在测试集上具有高的预测精度。因此，通 常采用交叉验证方法提高预测精度。K 折交叉验证（k-fold cross validation ）

是将训练集合分成K 个大小相同的子集。其中一个子集用于测试，其它1K -个子集用于对分类器进行训练。这样，整个训练集中的每一个子集被预测一次，交叉验证的正确率是K 次正确分类数据百分比的平均值。它可以防止过拟合的问题。

支持向量机的基本原理

对于很多分类问题，例如最简单的，一个平面上的两类不同的点，如何将它用一条直线分开？在平面上我们可能无法实现，但是如果通过某种映射，将这些点映射到其它空间（比如说球面上等），我们有可能在另外一个空间中很容易找到这样一条所谓的“分隔线”，将这些点分开。SVM 基本上就是这样的原理，但是SVM 本身比较复杂，因为它不仅仅是应用于平面内点的分类问题。SVM 的一般做法是：将所有待分类的点映射到“高维空间”，然后在高维空间中找到一个能将这些点分开的“超平面”，这在理论上是被完全证明了是成立的，而且在实际计算中也是可行的。但是仅仅找到超平面是不够的，因为在通常的情况下，满足条件的“超平面”的个数不是唯一的。SVM 需要的是利用这些超平面，找到这两类点之间的“最大间隔”。为什么要找到最大间隔呢？我想这与SVM 的“推广能力”有关，因为分类间隔越大，对于未知点的 判断会越准确，也可以说是“最大分类间隔”决定了“期望风险”，总结起来就是：SVM 要求分类间隔最大，实际上是对推广能力的控制。我想说到SVM 的基本原理，有两个概念不能不提到，一个就是上面说到的“最大分类间隔面”，另一个是关于“VC ”的概念。最大分类间隔面比较好懂，从字面上也能知道它的大致含义。但是VC 维的概念，

我有必要在这里着重说一下。VC维（Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学习理论定义的有关函数集学习性能的一个重要指标。传统的定义是：对一个指标函数集，如果存在H 个样本能够被函数集中的函数按所有可能的2的K次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义。VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（容量越大），遗憾的是，目前尚没有通用的关于任意函数集VC维计算的理论，只对一些特殊的函数集知道其VC维。例如在N维空间中线形分类器和线形实函数的VC维是n+1。

SVM学习之一：libsvm中的数据预处理

(1) SVM（Support Vector Machine）是从瓦普尼克（Vapnik）的统计学习理论发展而来的，主要针对小样本数据进行学习、分类和预测（有时也叫回归）的一种方法，能解决神经网络不能解决的过学习问题。作者以为，类似的根据样本进行学习的方法还有基于案例的推理（Case-Based Reasoning），决策树归纳算法C4.5等。

(2)过学习问题：训练误差过小导致推广能力下降，即真实风险的增加。

(3)推广能力：generalization ability，也可以说是泛化能力，就是对未知样本进行预测时的精确度。

原文：A practical guide to support vector classification。

libsvm中的样本预处理的原则有2个：

1 非数值属性(Categorical Feature)

由于SVM要求被处理的数据都是实数，因此对于属性值为类别的属性要进行转换。例如{red, green, blue},可以转换成3个属性

red (1, 0, 0)

green (0, 1, 0)

blue (0, 0, 1)

来表示。经验表明当这样的非数值属性的取值不是太多（这个具体数字不明确）的时候，这种编码比用一个数字来表示属性的类别要稳定的多，比如用1, 2, 3来分别表示red, green, blue就不太合适了。目前，这个过程没有实现自动处理，需要使用者根据属性取值的多少自己动手去修改。

2 缩放(scaling)

进行缩放的原因和使用神经网络时的考虑是一样的，由于RBF网络中采用

样本数据的欧式距离来计算。主要优点就是避免数值范围较大的属性控制数值范围较小的属性。另一个优点就是避免计算时的numerical difficulties。因为核值通常依赖特征向量的内积(inner product)，而较大的属性值可能导致numerical问题。因此推荐把每个属性缩放到[-1, 1]或者[0, 1]之间，而且前一个范围要比后一个好，即对列向量进行规范化，其详细解释和计算公式见https://www.sodocs.net/doc/a23319168.html,/faqs/ai-faq/neural-nets/part2/中的“Should I standardize the input variables (column vectors)?”。libsvm中没有考虑属性的类型（效益、成本、固定、偏离、区间、偏离区间 6 种不同的属性类型的规范化计算公式是不一样的，详见：徐泽水，《不确定多属性决策方法及应用》，清华大学出版社，2004。）而采用了统一的线性缩放，作者以为此处可以改进一下。

需要注意的是，在进行测试之前，要对测试数据进行同样的缩放操作。其实在libsvm中有程序（svmscale.exe）来进行缩放操作，也可以不用手工缩放，只要用easy.py来对（经过非数值的归一化处理之后的）原始数据直接操作即可。

上面这两种方法基本上可以完成所有的样本的预处理了。其实只有原则 1 是需要自己手工改动的，其他工作在libsvm中的tool文件夹下都由现成的python 程序处理

SVM学习之二——“推广能力”

“推广能力”是分类问题（classification，也称为模式识别问题，在概率统计中则称为判别分析问题）的一个指标。所谓推广就是在求得决策函数f(x)后，对一个新的输入x，按照y=f(x)推断出x相应的输出y。“推广能力”就是描述推广优劣的一种度量。

那么，决策函数f(x)是怎么回事？这要从分类问题的（数学语言描述的）定义说起，参见（邓乃扬等人的《数据挖掘中的新方法——支持向量机》，科学出版社，2005）。通俗的讲。就是一个表示x, y之间关系的函数，而x, y就是样本中的一对数据。其中x代表输入，y代表类别。分类问题就是找到这个决策函数f(x)，而对于新的输入x，能够判断其所属类别y则是个预测（回归）问题。

SVM学习之三——简单世界和复杂世界

统计学习理论（Vapnik V N, 许建华张学工译, 电子工业出版社, 2004）是SVM的坚实的理论基础，其作者指出，在可以只用几个变量描述的简单世界中，传统的科学哲学的目标是“发现普遍的自然规律”。但是，这一目标在需要用很多变量描述的复杂世界中不一定可行。因此，在一个复杂世界中，我们需要放弃寻找一般规律的目标，而考虑其他目标。

在Vapnik的The nature of statistical learning theory(1995年)一书中，作者对复杂世界的推理提出了如下法则：“在解决一个感兴趣的问题时，不要把解决一个更一般的问题作为一个中间步骤。要试图得到所需要的答案，而不是更一般的答案。很可能你拥有足够的信息来很好地解决一个感兴趣的特定问题，但却没有足够的信息来解决一个一般性的问题。”

东亚人就是这种理论的坚决执行者，“他们注重在其所处环境中的对象，很少关心类别和普适规则，基于在特定时刻施加于对象个体上的各种作用来解释其行为。没有太多地采用形式逻辑，而常常采用各种辩证推理规则，包括综合、超越和归一。”而西方人则注重对象及其特性（即一般性规律），并且用这种假定的基于分类的规则来预测和解释对象的行为（这样经常是错误的）。形式逻辑就是西方人的“法宝”，在推理、分类和规则验证中发挥了作用。

S VM学习之四——从机器学习到支持向量机机器学习(Machine Learning, ML)的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它（这种关系）能够对未知输出做出尽可能准确地预测。机器学习至今没有一个精确的公认的定义。作为人工智能(Artificial Intelligence, AI)的一个重要研究领域，ML的研究工作主要围绕学习机理、学习方法和面向任务这三个基本方面进行研究。模式识别、函数逼近和概率密度估计是三类基本的ML问题。

从数学的角度来考虑，机器学习问题就是已知n个独立同分布的观测样本，在同一组预测函数中求一个最优的函数对依赖关系进行估计，使期望风险R[f]最小。损失函数是评价预测准确程度的一种度量，它与预测函数f(x)密切相关。而f(x)的期望风险依赖于概率分布和损失函数，前者是客观存在的，后者是根据具体问题选定的，带有（主观的）人为的或偏好色彩。期望风险的大小直观上可以理解为，当我们用f(x)进行预测时，“平均”的损失程度，或“平均”犯错误的程度。

但是，只有样本却无法计算期望风险，因此，传统的学习方法用样本定义经验风险Remp[f]作为对期望风险的估计，并设计学习算法使之最小化。即所谓的经验风险最小化(Empirical Risk Minimization, ERM)归纳原则。经验风险是用损失函数来计算的。对于模式识别问题的损失函数来说，经验风险就是训练样本错误率；对于函数逼近问题的损失函数来说，就是平方训练误差；而对于概率密度估计问题的损失函数来说，ERM准则就等价于最大似然法。事实上，用ERM 准则代替期望风险最小化并没有经过充分的理论论证，只是直观上合理的想当然做法。也就是说，经验风险最小不一定意味着期望风险最小。其实，只有样本数目趋近于无穷大时，经验风险才有可能趋近于期望风险。但是很多问题中样本数目离无穷大很远，那么在有限样本下ERM准则就不一定能使真实风险较小啦。ERM准则不成功的一个例子就是神经网络的过学习问题（某些情况下，训练误差过小反而导致推广能力下降，或者说是训练误差过小导致了预测错误率的增加，即真实风险的增加）。

统计学习理论(Statistical Learning Theory, SLT)和支持向量机(Support Vector Machine, SVM)建立了一套较好的有限训练样本下机器学习的理论框架和通用方法，既有严格的理论基础，又能较好地解决小样本、非线性、高维数和局部极小点等实际问题，其核心思想就是学习机器（又叫预测函数，或学习函数，或学习模型）F要与有限的训练样本相适应。在学习算法中需要选择恰当的F，这里的关键因素是F的大小，或者F的丰富程度，或者说F的“表达能力”，VC维(Vapnik-Chervonenkis Dimension)就是对这种“表达能力”的一种描述。

VC维的定义如下：对于一个指示函数集，如果存在h个样本能够被函数集中的函数按所有可能的2的h次幂种形式分开，则称函数集能够把h个样本都打散，h的最大值就是函数集的VC维。VC维是SLT中的一个重要概念，它是函数集学习性能的重要指标。目前尚没有通用的关于任意函数集VC维计算的理论，只知道一些特殊的函数集的VC维。比如，在n维空间中线性分类器和线性实函数的VC维是n+1，而f(x,a) = sin(ax) 的VC维则为无穷大。对于给定的学习函数集，如何（用理论或实验的方法）计算其VC维是当前统计学习理论中有待研究的一个问题。

由上文可知，在有限样本情况下，仅仅用ERM来近似期望风险是行不通的。统计学习理论给出了期望风险R[f] 与经验风险Remp[f] 之间关系：R[f] <= ( Remp[f] + e )。其中e = g(h/n) 为置信区间，e 是VC维h 的增函数，也是样本数n的减函数。右端称为结构风险，它是期望风险R[f] 的一个上界。经验风险的最小依赖较大的 F （样本数较多的函数集）中某个 f 的选择，但是 F 较大，则VC维较大，就导致置信区间 e 变大，所以要想使期望风险R[f] 最小，必须选择合适的h 和n 来使不等式右边的结构风险最小，这就是结构风险最小化(Structural Risk Minimization, SRM)归纳原则。实现SRM的思路之一就是设计函数集的某种结构使每个子集中都能取得最小的经验风险（如使训练误差为0），然后只需选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最优函数。SVM方法实际上就是这种思想的具体实现。

SVM是一种基于统计的学习方法，它是对SRM的近似。概括地说，SVM 就是首先通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，然后再在这个空间中求（广义）最优分类面的分类方法。

SVM学习之五——支持向量机的原理

名词解释1——支持向量机：“机（machine，机器）”实际上是一个算法。在机器学习领域，常把一些算法看作是一个机器（又叫学习机器，或预测函数，或学习函数）。“支持向量”则是指训练集中的某些训练点的输入xi 。它是一种有监督（有导师）学习方法，即已知训练点的类别，求训练点和类别之间的对应关系，以便将训练集按照类别分开，或者是预测新的训练点所对应的类别。

名词解释2——符号函数：sgn(a) = 1, a >= 0;sgn(a) = -1, a < 0。

一般地，考虑n 维空间上的分类问题，它包含n 个指标和l 个样本点。记这l 个样本点的集合为T = {(x1,y1),…,(xl,yl)}，其中xi 是输入指标向量，或称输入，或称模式，其分量称为特征，或属性，或输入指标；yi 是输出指标向量，或称输出，i = 1,…,l。这l 个样本点组成的集合称为训练集，所以我们也称样本点位训练点。

对于训练集来说，有线性可分、近似线性可分和线性不可分等三种情况，这就是分类问题的三种类型。其实，无论是哪类问题，都有对应的分类机，这将在以下的内容中进行详细阐述。那么，有人可能会问，什么叫线性可分？通俗地讲，就是可以用一条或几条直线把属于不同类别的样本点分开。实际上，求解分类问题，就是要求出这条或这几条直线！那么，问题是：怎么求？这里先以二维两类线性可分的分类问题为例，做个详细的说明，然后再过渡到多类分类问题。

首先，回忆一下平面（二维）坐标系中某条直线的方程。还记得直线的一般方程

Ax + By + C = 0 （公式一）

吧，我们引入向量的概念，则该方程可以写成{x,y}与{A,B}的内积加上C等于0，即

{A,B}·{x,y} + C = 0

你还记得法向量和方向向量的概念吗？其实{A,B}就是法向量，而{B，-A}就是方向向量了。那么我们可以把直线的一般方程简化成为

w·x + b = 0 （公式二）

的形式（因为这个式子是大家最常用的嘛）。注意：（公式二）中的x 和（公式一）中的x 不同，前者一个二维向量，后者是一个实数。

对于两类问题，如果将某一直线两侧的样本点分为正类和负类，则用符号函数的方式推断点x 所对应的类别y 的决策函数如下：

y = f(x) = sgn((w·x) + b) （公式三）

根据符号函数的定义，很明显y 的取值要么是 1 ，要么是-1，也就是说样本点的类别只有 1 和-1 两类。此时的分类问题是：对于任意给定的一个新的模式x ，根据训练集推断它所对应的输出y 是 1 还是-1。这就是线性可分的分类问题，也是一个模式识别问题，我们要做的工作就是要求出w 和 b 。

直接求这两个参数基本上不太可能，除了训练集我们又没有别的信息可以利用，这可如何是好？前辈们给出了一个绝妙的方法——就是所求得的预测函数f(x) 对原有样本的分类错误率最小。那么，问题又出来了，这个错误率咋算？损失函数就是专门用来评价预测准确程度的一种度量，而且模式识别问题使用的正是“0-1损失函数”。根据我的上一篇学习体会——《从机器学习到支持向量机》https://www.sodocs.net/doc/a23319168.html,/viewdiary.14525093.html中的阐述，使（公式三）中的f(x) 的预测误差最小的问题转化成期望误差最小、经验风险最小，最后在统计学习理论中又转化为结构风险最小(Structural Risk Minimization, SRM)。而实现SRM的思路之一就是设计预测函数集的某种结构使每个子集中都能取得最小的经验风险（如使训练误差为0），然后只需选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最优函数。SVM方法实际上就是这种思想的具体实现，它是对SRM的近似。说了半天，终于和上次的内容连接上了。但是，为了求解SRM这个最小化问题，还得将它转化成数学形式。

SVM方法是从线性可分情况下的最优分类面提出的，它是实现统计学习理论思想的方法。什么是最优分类面呢？这要从最优分类线说起。所谓最优分类线就是要求分类线不但能将两类无错误地分开，而且要使两类的分类间隔最大。前者是保证经验风险最小（如使训练误差为0），而使分类间隔最大实际上就是使推广性的界中的置信范围最小，从而使真实风险最小。推广到高维空间，最优分

类线就成为最优分类面。

那么如何构造这个最优分类面呢？方法有 2 个：平分最近点法和最大间隔法。有趣的是，这两个方法殊途同归，它们求解得到的是同一个超平面（由三个定理联合起来证明了这个结论）。由这三个定理可知，这两个方法与一个最优化问题求解方法等价，这个方法就称为“线性可分支持向量分类机”。其实，这个分类机是将最大间隔法求解最优分类面的最优化问题转化为其对偶问题，从而通过求解相对简单的对偶问题来求解原分类问题的算法。随后引入松弛变量和惩罚因子来解决非线性分类问题，并且允许一定的分类错误（软间隔），最终得到非线性软间隔的标准的C-支持向量机(C-SVC)。其中的巧妙之处就在于把一个复杂的最优化问题的求解简化为对原有样本数据的内积运算。我们要做的就是选择适当的核函数及其参数、惩罚因子就可以了。

概括地说，SVM就是首先通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，然后再在这个空间中求（广义）最优分类面的分类方法。

那么，如何通过计算机来求解这个内积运算呢？且听下回分解！下次会介绍选块算法、分解算法，并重点介绍由分解算法改进得到的最经典的SMO 算法。

参考文献：

1、邓乃扬，数据挖掘中的新方法——支持向量机[M]，北京：科学出版社，2004。

2、边肇祺，张学工，模式识别（第二版）[M]，清华大学出版社，2000。

附录：

知识工程学：一个新的重要研究领域https://www.sodocs.net/doc/a23319168.html,/1834927.html

SVM学习之六——SMO算法分析与程序实现

先提供一个libsvm 2.6 的程序源码注释

https://www.sodocs.net/doc/a23319168.html,/people/gpliu/document/libsvm_src.pdf.

本文中提到的算法是Platt 在1998年提出、由Fan 等人于2005年改进的序列最小最优化(Sequential Minimal Optimization, SMO)分解方法，程序源码参考libsvm-2.8.3 （https://www.sodocs.net/doc/a23319168.html,.tw/~cjlin/libsvm/）。

参考文献

1 J. C. Platt. Fast training of support vector machines using sequential minimal optimization. In B. Sch¨olkopf, C. J. C. Burges, and A. J. Smola, editors, Advances in Kernel Methods - Support Vector Learning, Cambridge, MA, 1998. MIT Press.

2 R.-E. Fan, P.-H. Chen, and C.-J. Lin. Working set selection using second order information for training SVM. Journal of Machine Learning Research, 6:1889–1918,

2005. URL https://www.sodocs.net/doc/a23319168.html,.tw/ cjlin/papers/quadworkset.pdf.

3 姬水旺，姬旺田，支持向量机训练算法综述[J]，微机发展，14（1），2004.

4 刘江华，程君实，陈佳品，支持向量机训练算法综述[J]，信息与控制，31（1），2002.

以下是网上现有的几个中文版的支持向量机软件libsvm使用的网址：

1、陆振波的个人主页https://www.sodocs.net/doc/a23319168.html,/

2、piaip's Using (lib)SVM Tutorial（piaip 的(lib)SVM 簡易入門）https://www.sodocs.net/doc/a23319168.html,/~piaip/svm/svm_tutorial.html

3、Libsvm学习笔记（https://www.sodocs.net/doc/a23319168.html,/5133582.html）

高斯（核）函数简介

高斯（核）函数简介

1函数的基本概念

所谓径向基函数(Radial Basis Function 简称RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数, 可记作k(||x-xc||), 其作用往往是局部的, 即当x远离xc时函数取值很小。最常用的径向基函数是高斯核函数,形式为

k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) }

其中xc为核函数中心,σ为函数的宽度参数, 控制了函数的径向作用范围。高斯函数具有五个重要的性质，这些性质使得它在早期图像处理中特别有用．这些性质表明，高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器，且在实际图像处理中得到了工程人员的有效使用．高斯函数具有五个十分重要的性质，它们是：

（1）二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的．一般来说，一幅图像的边缘方向是事先不知道的，因此，在滤波前是无法确定一个方向上比另一方向上需要更多的平滑．旋转对称性意味着高斯平滑滤波器在后续边缘检测中不会偏向任一方向．

（2）高斯函数是单值函数．这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的．这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真．（3）高斯函数的付立叶变换频谱是单瓣的．正如下面所示，这一性质是高斯函数付立叶变换等于高斯函数本身这一事实的直接推论．图像常被不希望的高频信号所污染(噪声和细纹理)．而所希望的图像特征（如边缘），既含有低频分量，又含有高频分量．高斯函数付立叶变换的单瓣意味着平滑图像不会被不需要的高频信号所污染，同时保留了大部分所需信号．

（4）高斯滤波器宽度(决定着平滑程度)是由参数σ表征的，而且σ和平滑程度的关系是非常简单的．σ越大，高斯滤波器的频带就越宽，平滑程度就越好．通过调节平滑程度参数σ，可在图像特征过分模糊(过平滑)与平滑图像中由

于噪声和细纹理所引起的过多的不希望突变量(欠平滑)之间取得折衷．（5）由于高斯函数的可分离性，大高斯滤波器可以得以有效地实现．

二维高斯函数卷积可以分两步来进行，首先将图像与一维高斯函数进行卷积，然后将卷积结果与方向垂直的相同一维高斯函数卷积．因此，二维高斯滤波的计算量随滤波模板宽度成线性增长而不是成平方增长．

2函数的表达式和图形

在这里编辑公式很麻烦，所以这里就略去了。可以参看相关的书籍，仅给出matlab绘图的代码

alf=3; n=7;%定义模板大小

n1=floor((n+1)/2);%确定中心

for i=1:n a(i)= exp(-((i-n1).^2)/(2*alf^2));

for j=1:n b(i,j) =exp(-((i-n1)^2+(j-n1)^2)/(4*alf))/(4*pi*alf);

end

end

subplot(121),plot(a),title('一维高斯函数' )

subplot(122),surf(b),title('二维高斯函数' )

(完整word版)支持向量机(SVM)原理及应用概述分析

支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输

支持向量机(SVM)算法推导及其分类的算法实现

支持向量机算法推导及其分类的算法实现 摘要：本文从线性分类问题开始逐步的叙述支持向量机思想的形成，并提供相应的推导过程。简述核函数的概念，以及kernel在SVM算法中的核心地位。介绍松弛变量引入的SVM算法原因，提出软间隔线性分类法。概括SVM分别在一对一和一对多分类问题中应用。基于SVM在一对多问题中的不足，提出SVM 的改进版本DAG SVM。 Abstract：This article begins with a linear classification problem, Gradually discuss formation of SVM, and their derivation. Description the concept of kernel function, and the core position in SVM algorithm. Describes the reasons for the introduction of slack variables, and propose soft-margin linear classification. Summary the application of SVM in one-to-one and one-to-many linear classification. Based on SVM shortage in one-to-many problems, an improved version which called DAG SVM was put forward. 关键字：SVM、线性分类、核函数、松弛变量、DAG SVM 1. SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 对于SVM的基本特点，小样本，并不是样本的绝对数量少，而是与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。非线性，是指SVM擅长处理样本数据线性不可分的情况，主要通过松弛变量和核函数实现，是SVM 的精髓。高维模式识别是指样本维数很高，通过SVM建立的分类器却很简洁，只包含落在边界上的支持向量。

支持向量机的介绍讲解

支持向量机(SVM)介绍 目标 本文档尝试解答如下问题: ?如何使用OpenCV函数CvSVM::train训练一个SVM分类器，以及用CvSVM::predict测试训练结果。 支持向量机(SVM) 是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记(label)好的训练样本(监督式学习), SVM算法输出一个最优化的分隔超平面。 如何来界定一个超平面是不是最优的呢? 考虑如下问题： 假设给定一些分属于两类的2维点，这些点可以通过直线分割，我们要找到一条最优的分割线. Note 在这个示例中，我们考虑卡迪尔平面内的点与线，而不是高维的向量与超平面。 这一简化是为了让我们以更加直觉的方式建立起对SVM概念的理解，但是其基本的原理同样适用于更高维的样本分类情形。

在上面的图中，你可以直觉的观察到有多种可能的直线可以将样本分开。那是不是某条直线比其他的更加合适呢? 我们可以凭直觉来定义一条评价直线好坏的标准: 距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。因此我们的目标是找到一条直线，离所有点的距离最远。 由此，SVM算法的实质是找出一个能够将某个值最大化的超平面，这个值就是超平面离所有训练样本的最小距离。这个最小距离用SVM术语来说叫做间隔(margin)。概括一下，最优分割超平面最大化训练数据的间隔。 下面的公式定义了超平面的表达式: 叫做权重向量，叫做偏置(bias)。 See also 关于超平面的更加详细的说明可以参考T. Hastie, R. Tibshirani 和J. H. Friedman的书籍Elements of Statistical Learning，section 4.5 (Seperating Hyperplanes)。

支持向量机算法介绍

支持向量机算法介绍 众所周知，统计模式识别、线性或非线性回归以及人工神经网络等方法是数据挖掘的有效工具，已随着计算机硬件和软件技术的发展得到了广泛的应用。 但多年来我们也受制于一个难题：传统的模式识别或人工神经网络方法都要求有较多的训练样本，而许多实际课题中已知样本较少。对于小样本集，训练结果最好的模型不一定是预报能力最好的模型。因此，如何从小样本集出发，得到预报（推广）能力较好的模型，遂成为模式识别研究领域内的一个难点，即所谓“小样本难题”。支持向量机（support vector machine ，简称SVM ）算法已得到国际数据挖掘学术界的重视，并在语音识别、文字识别、药物设计、组合化学、时间序列预测等研究领域得到成功应用。 1、线性可分情形 SVM 算法是从线性可分情况下的最优分类面（Optimal Hyperplane ）提出的。所谓最优分类面就是要求分类面不但能将两类样本点无错误地分开，而且要使两类的分类空隙最大。 设线性可分样本集为),(i i y x ，d R x n i ∈=,,,1 ，}1,1{-+∈y ，d 维空间中线性判别函数的一般形式为 ()b x w x g T +=， 分类面方程是 0=+b x w T ， 我们将判别函数进行归一化，使两类所有样本都满足()1≥x g ，此时离分类面最近的 样本的 ()1=x g ，而要求分类面对所有样本都能正确分类，就是要求它满足 n i b x w y i T i ,,2,1,01)( =≥-+。 （4）

式（4）中使等号成立的那些样本叫做支持向量（Support Vectors ）。两类样本的分类空隙（Margin ）的间隔大小： Margin =w /2(5) 因此，最优分类面问题可以表示成如下的约束优化问题，即在条件（4）的约束下，求函数 ())(2 1221w w w w T == φ(6) 的最小值。为此，可以定义如下的Lagrange 函数： ]1)([21),,(1 -+-=∑=b x w y a w w a b w L i T i n i i T (7) 其中，0≥i a 为Lagrange 系数，我们的问题是对w 和b 求Lagrange 函数的最小值。把式（7）分别对w 、b 、i a 求偏微分并令它们等于0，得： i i n i i x y a w w L ∑==?=??10 001 =?=??∑=i n i i y a b L 0]1)([0=-+?=??b x w y a a L i T i i i 以上三式加上原约束条件可以把原问题转化为如下凸二次规划的对偶问题： () ???? ? ???? ==≥∑∑∑∑====-0,,1,0.m a x 1111 21i n i i i j T i j i j n i n j i n i i y a n i a t s x x y y a a a (8) 这是一个不等式约束下二次函数机制问题，存在唯一最优解。若*i a 为最优解，则 ∑== n i i i i x y a w 1* * (9) *i a 不为零的样本即为支持向量，因此，最优分类面的权系数向量是支持向量的线性组合。

支持向量机SVM分类算法

支持向量机SVM分类算法 SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说简直九牛

20.ENVI4.3 支持向量机分类原理、操作及实例分析

ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1.支持向量机算法的理论背景 支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。 与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； （2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较 好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 2.支持向量机算法简介 通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。 最优分类面（超平面）和支持向量

SVM算法推导及其分类的算法实现

SVM算法推导及其分类的算法实现 摘要：本文从线性分类问题开始逐步的叙述支持向量机思想的形成，并提供相应的推导过程。简述核函数的概念，以及kernel在SVM算法中的核心地位。介绍松弛变量引入的SVM算法原因，提出软间隔线性分类法。概括SVM分别在一对一和一对多分类问题中应用。基于SVM在一对多问题中的不足，提出SVM 的改进版本DAG SVM。 Abstract：This article begins with a linear classification problem, Gradually discuss formation of SVM, and their derivation. Description the concept of kernel function, and the core position in SVM algorithm. Describes the reasons for the introduction of slack variables, and propose soft-margin linear classification. Summary the application of SVM in one-to-one and one-to-many linear classification. Based on SVM shortage in one-to-many problems, an improved version which called DAG SVM was put forward. 关键字：SVM、线性分类、核函数、松弛变量、DAG SVM 1. SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 对于SVM的基本特点，小样本，并不是样本的绝对数量少，而是与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。非线性，是指SVM擅长处理样本数据线性不可分的情况，主要通过松弛变量和核函数实现，是SVM 的精髓。高维模式识别是指样本维数很高，通过SVM建立的分类器却很简洁，只包含落在边界上的支持向量。

SVM算法实验实验报告

svm分类算法 一、数据源说明 1、数据源说远和理解： ticeval2000.txt: 这个数据集是需要预测（ 4000个客户记录）的数据集。它和 ticdata2000.txt它具有相同的格式，只是没有最后一列的目标记录。我们只希望返回预测 目标的列表集，所有数据集都用制表符进行分隔。共有4003（自己加了三条数据），根据要 求，用来做预测。 tictgts2000.txt：最终的目标评估数据。这是一个实际情况下的目标数据，将与我们预 测的结果进行校验。我们的预测结果将放在result.txt文件中。 数据集理解：本实验任务可以理解为分类问题，即分为2类，也就是数据源的第86列， 可以分为0、1两类。我们首先需要对ticdata2000.txt进行训练，生成model，再根据model 进行预测。 2、数据清理 代码中需要对数据集进行缩放的目的在于： a、避免一些特征值范围过大而另一些特征值范围过小； b、避免在训练时为了计算核函数而计算内积的时候引起数值计算的困难。因此，通常将 数据缩放到 [ -1,1] 或者是 [0,1] 之间。 二、数据挖掘的算法说明 1、 svm算法说明 2、实现过程 在源程序里面，主要由以下2个函数来实现： (1) struct svm_model *svm_train(const struct svm_problem *prob, const struct svm_parameter *param); 该函数用来做训练，参数prob，是svm_problem类型数据，具体结构定义如下： struct svm_problem //存储本次参加运算的所有样本(数据集)，及其所属类别。 { int n; //记录样本总数 double *y; //指向样本所属类别的数组 struct svm_node **x; //指向一个存储内容为指针的数组 }; 其中svm_node的结构体定义如下： struct svm_node //用来存储输入空间中的单个特征 { int index; //输入空间序号，假设输入空间数为m double value; //该输入空间的值 }; 所以，prob也可以说是问题的指针，它指向样本数据的类别和输入向量，在内存中的具 体结构图如下： 图1.1libsvm训练时，样本数据在内存中的存放结构 只需在内存中申请n*(m+1)*sizeof(struct svm_node)大小的空间，并在里面填入每个 样本的每个输入空间的值，即可在程序中完成prob参数的设置。参数param，是 svm_parameter数据结构，具体结构定义如下： struct svm_parameter // 训练参数 { int svm_type; //svm类型，

SVM通俗讲解

SVM(Support Vector Machine) 支持向量机相关理论介绍 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种[3]： 第一种是经典的（参数）统计估计方法。包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性。 首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 第二种方法是经验非线性方法，如人工神经网络（ANN）。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。与传统统计学相比，统计学习理论（Statistical Learning Theory或SLT）是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。V. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。 统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(Generalization Performance)等的重要结论。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）； 同时，这一理论基础上发展了一种新的通用学习方法──支持向量机（Support Vector Machine或SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。 支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。支持向量机方法的几个主要优点

SVM中文介绍

基于统计学习理论的支持向量机算法研究 1 理论背景 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种[3]： 第一种是经典的（参数）统计估计方法。包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性，首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 第二种方法是经验非线性方法，如人工神经网络（ANN）。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。 与传统统计学相比，统计学习理论（Statistical Learning Theory或SLT）是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。V. Vapnik等人从六、七十年代开始致力于此方面研究[1]，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。 统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(Generalization Performance)等的重要结论。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）；同时，这一理论基础上发展了一种新的通用学习方法──支持向量机（Support Vector Machine或SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。 支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。支持向量机方法的几个主要优点有： 1.它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数 趋于无穷大时的最优值；