第3章 模糊模式识别

黄庆明 模式识别与机器学习 第三章 作业

·在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 应该是252142 6 *74132 7=+=+ =++C 其中加一是分别3类 和 7类 ·一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 (1)设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 (2)设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。

(3)设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 ·两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。） 如果线性可分，则4个 建立二次的多项式判别函数，则102 5 C 个 ·(1)用感知器算法求下列模式分类的解向量w: ω1: {(0 0 0)T , (1 0 0)T , (1 0 1)T , (1 1 0)T } ω2: {(0 0 1)T , (0 1 1)T , (0 1 0)T , (1 1 1)T } 将属于ω2的训练样本乘以（-1），并写成增广向量的形式。 x ①=(0 0 0 1)T , x ②=(1 0 0 1)T , x ③=(1 0 1 1)T , x ④=(1 1 0 1)T x ⑤=(0 0 -1 -1)T , x ⑥=(0 -1 -1 -1)T , x ⑦=(0 -1 0 -1)T , x ⑧=(-1 -1 -1 -1)T 第一轮迭代：取C=1，w(1)=(0 0 0 0) T 因w T (1) x ① =(0 0 0 0)(0 0 0 1) T =0 ≯0，故w(2)=w(1)+ x ① =(0 0 0 1) 因w T (2) x ② =(0 0 0 1)(1 0 0 1) T =1>0，故w(3)=w(2)=(0 0 0 1)T 因w T (3)x ③=(0 0 0 1)(1 0 1 1)T =1>0，故w(4)=w(3) =(0 0 0 1)T 因w T (4)x ④=(0 0 0 1)(1 1 0 1)T =1>0，故w(5)=w(4)=(0 0 0 1)T 因w T (5)x ⑤=(0 0 0 1)(0 0 -1 -1)T =-1≯0，故w(6)=w(5)+ x ⑤=(0 0 -1 0)T 因w T (6)x ⑥=(0 0 -1 0)(0 -1 -1 -1)T =1>0，故w(7)=w(6)=(0 0 -1 0)T 因w T (7)x ⑦=(0 0 -1 0)(0 -1 0 -1)T =0≯0，故w(8)=w(7)+ x ⑦=(0 -1 -1 -1)T 因w T (8)x ⑧=(0 -1 -1 -1)(-1 -1 -1 -1)T =3>0，故w(9)=w(8) =(0 -1 -1 -1)T 因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第二轮迭代。 第二轮迭代： 因w T (9)x ①=(0 -1 -1 -1)(0 0 0 1)T =-1≯0，故w(10)=w(9)+ x ① =(0 -1 -1 0)T

中科院模式识别第三次(第五章)_作业_答案_更多

第5章：线性判别函数 第一部分：计算与证明 1． 有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T 和(2,3)T ，第二类的两个样本为(4,1)T 和(3,2)T 。这里，上标T 表示向量转置。假设初始的权向量a=(0,1)T ，且梯度更新步长ηk 固定为1。试利用批处理感知器算法求解线性判别函数g(y)=a T y 的权向量。 解： 首先对样本进行规范化处理。将第二类样本更改为(4,1)T 和(3,2)T .然后计算错分样本集： g(y 1)=(0,1)(1,4)T = 4 > 0 (正确) g(y 2)=(0,1)(2,3)T = 3 > 0 (正确) g(y 3)=(0,1)(-4,-1)T = -1 < 0 (错分) g(y 4)=(0,1)(-3,-2)T = -2 < 0 (错分) 所以错分样本集为Y={(-4,-1)T ,(-3,-2)T }. 接着，对错分样本集求和：(-4,-1)T +(-3,-2)T = (-7,-3)T 第一次修正权向量a ，以完成一次梯度下降更新：a=(0,1)T + (-7,-3)T =(-7,-2)T 再次计算错分样本集： g(y 1)=(-7,-2)(1,4)T = -15 <0 (错分) g(y 2)=(-7,-2)(2,3)T = -20 < 0 (错分) g(y 3)=(-7,-2)(-4,-1)T = 30 > 0 (正确) g(y 4)=(-7,-2)(-3,-2)T = 25 > 0 (正确) 所以错分样本集为Y={(1,4)T ,(2,3)T }. 接着，对错分样本集求和：(1,4)T +(2,3)T = (3,7)T 第二次修正权向量a ，以完成二次梯度下降更新：a=(-7,-2)T + (3,7)T =(-4,5)T 再次计算错分样本集： g(y 1) = (-4,5)(1,4)T = 16 > 0 (正确) g(y 2) =(-4,5)(2,3)T = 7 > 0 (正确) g(y 3) =(-4,5)(-4,-1)T = 11 > 0 (正确) g(y 4) =(-4,5)(-3,-2)T = 2 > 0 (正确) 此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T 。 2． 在线性感知算法中，试证明引入正余量b 以后的解区(a T y i ≥b)位于原来的解区之中(a T y i >0)，且与原解区边界之间的距离为b/||y i ||。 证明：设a*满足a T y i ≥b,则它一定也满足a T y i >0，所以引入余量后的解区位于原来的解区a T y i >0之中。 注意，a T y i ≥b 的解区的边界为a T y i =b,而a T y i >0的解区边界为a T y i =0。a T y i =b 与a T y i =0两个边界之间的距离为b/||y i ||。（因为a T y i =0过坐标原点，相关于坐标原点到a T y i =b 的距离。） 3． 试证明感知器准则函数正比于被错分样本到决策面的距离之和。 证明：感知器准则函数为： ()() T Y J ∈=-∑y a a y 决策面方程为a T y=0。当y 为错分样本时，有a T y ≤0。此时，错分样本到决策面的

模式识别大作业

作业1 用身高和/或体重数据进行性别分类（一） 基本要求： 用FAMALE.TXT和MALE.TXT的数据作为训练样本集，建立Bayes分类器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。 具体做法： 1．应用单个特征进行实验：以（a）身高或者（b）体重数据作为特征，在正态分布假设下利用最大似然法或者贝叶斯估计法估计分布密度参数，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到测试样本，考察测试错误情况。在分类器设计时可以考察采用不同先验概率（如0.5对0.5, 0.75对0.25, 0.9对0.1等）进行实验，考察对决策规则和错误率的影响。 图1-先验概率0.5:0.5分布曲线图2-先验概率0.75:0.25分布曲线 图3--先验概率0.9:0.1分布曲线图4不同先验概率的曲线 有图可以看出先验概率对决策规则和错误率有很大的影响。 程序：bayesflq1.m和bayeszcx.m

关（在正态分布下一定独立），在正态分布假设下估计概率密度，建立最小错误率Bayes 分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率（如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs. 0.1等）进行实验，考察对决策和错误率的影响。 训练样本female来测试 图1先验概率0.5 vs. 0.5 图2先验概率0.75 vs. 0.25 图3先验概率0.9 vs. 0.1 图4不同先验概率 对测试样本1进行试验得图

模式识别第三章-感知器算法

模式识别第三章 感知器算法 一．用感知器算法求下列模式分类的解向量w ： })0,1,1(,)1,0,1(,)0,0,1(,)0,0,0{(:1T T T T ω })1,1,1(,)0,1,0(,)1,1,0(,)1,0,0{(:2T T T T ω 将属于2ω的训练样本乘以（-1），并写成增广向量的形式： T x )1,0,0,0(1 =，T x )1,0,0,1(2=，T x )1,1,0,1(3=，T x )1,0,1,1(4 = T x )1,1-,0,0(5-=，T x )1,1-,1-,0(6-=，T x )1,0,1-,0(7-=，T x )1,1-,1-,1-(8-= 第一轮迭代：取1=C ，T )0,0,0,0()1(=ω 因0)1,0,0,0)(0,0,0,0()1(1==T T x ω不大于0，故T x )1,0,0,0()1()2(1=+=ωω 因1)1,0,0,1)(1,0,0,0()2(2==T T x ω大于0，故T )1,0,0,0()2()3(==ωω 因1)1,1,0,1)(1,0,0,0()3(3==T T x ω大于0，故T )1,0,0,0()3()4(==ωω 因1)1,0,1,1)(1,0,0,0()4(4==T T x ω大于0，故T )1,0,0,0()4()5(==ωω 因1)1,1-,0,0)(1,0,0,0()5(5-=-=T T x ω不大于0，故T x )0,1-,0,0()5()6(5 =+=ωω 因1)1,1-,1-,0)(0,1-,0,0()6(6=-=T T x ω大于0，故T )0,1-,0,0()6()7(==ωω 因0)1,0,1-,0)(0,1-,0,0()7(7=-=T T x ω不大于0，故T x )1-,1-,1,0()7()8(7-=+=ωω 因3)1,1-,1-,1-)(1-,1-,1,0()8(8=--=T T x ω大于0，故T )1-,1-,1,0()8()9(-==ωω 第二轮迭代： 因1)1,0,0,0)(1-,1-,1,0()9(1-=-=T T x ω不大于0，故T x )0,1-,1,0()9()10(1-=+=ωω 因0)1,0,0,1)(0,1-,1-,0()10(2==T T x ω不大于0，故T x )1,1,1,1()10()11(2--=+=ωω 因1)1,1,0,1)(1,1,1,1()11(3=--=T T x ω大于0，故T )1,1,1,1()11()12(--==ωω 因1)1,0,1,1)(1,1,1,1()12(4=--=T T x ω大于0，故T )1,1,1,1()12()13(--==ωω

模糊模式识别

第6讲模糊模式识别 （第三章模糊模式识别） 一、模式识别一般原理 1.模式识别的概念 模式识别是人工智能的一个重要方面，也是一门独立的学科。 模式：用数学描述的信息结构或观察信号。 模式识别就是把要辨别的对象，通过与已知模式进行比较，从而确定出它和哪一个模式相类同的过程。 2.模式识别系统 人们识别事物时，首先要对事物进行观察，抓住特点，分析比较，才能加以判断和辨别，而机器进行模式识别也同样要有这些过程。因此模式识别系统通常由以下四个部分构成： ①传感器部分：这是获取信息的过程。比如摄像头就象人的眼睛，把图像信息变为电信

号，麦克风象人的耳朵，获取声音信号，又如霍尔元件可以感受磁场，压电陶瓷可以把力转换为电信号等等。 ②预处理部分：这是对信息进行前端处理的过程。它把传感器送来的信号滤除杂波并作规范化、数字化。 ③特征提取部分：这是从信号中提取一些能够反映模式特征的数据的过程。 ④识别判断部分：这是根据提取的特征，按照某种归类原则，对输入的模式进行判断的过程。 二、模糊模式识别 模糊模式识别主要是指用模糊集合表示标准模式，进而进行识别的理论和方法。主要涉及到三个问题：（1）用模糊集合表示标准模式；（2）度量模糊集合之间的相似性；（3）模糊模式识别的原则。 例3.1 邮政编码识别问题 识别：0，1，2，……，9 关键：1）如何刻化，0，1，……，9（如何选取特征？）（区分）

2）如何度量特征之间的相似性？ 1．模糊集合的贴近度 贴近度是度量两个模糊集合接近（相似） 程度的数量指标，公理化定义如下： 定义3.1 设,,()A B C F X ∈，若映射 []:()()0,1N F X F X ?→ 满足条件： ①(,)(,)N A B N B A =； ②(,)1,(,)0N A A N X φ==； ③若A B C ??，则 (,)(,)(,)N A C N A B N B C ≤∧。 则称(,)N A B 为模糊集合A 与B 的贴近度。 N 称为()F X 上的贴近度函数。 这个定义实际上是对贴近度提出了几个 准则，并没给出具体的贴近度。 2．常用的贴近度 ①海明贴近度 若{}12,,...,n X x x x =，则 111(,)1()()n i i i N A B A x B x n ==--∑ 若[,]X a b R =?,则

第三章作业(1)

题1：在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 答：将10类问题可看作4类满足多类情况1的问题，可将3类单独满足多类情况1的类找出来，剩下的7类全部划到4类中剩下的一个子类中。再在此子类中，运用多类情况2的判别法则进行分类，此时需要7*（7-1）/2=21个判别函数。故共需要4+21=25个判别函数。 题2：一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 1.设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类 别的区域。 2.设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其 判别界面和多类情况2的区域。 3.设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和 每类的区域。 答：三种情况分别如下图所示： 1． 2．

3． 题3：两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。） 答：（1）若是线性可分的，则权向量至少需要14N n =+=个系数分量； （2）若要建立二次的多项式判别函数，则至少需要5! 102!3! N = =个系数分量。 题4：用感知器算法求下列模式分类的解向量w : ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T} 解：将属于2w 的训练样本乘以(1)-，并写成增广向量的形式 x1=[0 0 0 1]',x2=[1 0 0 1]',x3=[1 0 1 1]',x4=[1 1 0 1]'; x5=[0 0 -1 -1]',x6=[0 -1 -1 -1]',x7=[0 -1 0 -1]',x8=[-1 -1 -1 -1]'; 迭代选取1C =，(1)(0,0,0,0)w '=，则迭代过程中权向量w 变化如下： (2)(0 0 0 1)w '=；(3)(0 0 -1 0)w '=；(4)(0 -1 -1 -1)w '=；(5)(0 -1 -1 0)w '=；(6)(1 -1 -1 1)w '=；(7)(1 -1 -2 0)w '=；(8)(1 -1 -2 1)w '=；(9)(2 -1 -1 2)w '=； (10)(2 -1 -2 1)w '=；(11)(2 -2 -2 0)w '=；(12)(2 -2 -2 1)w '=；收敛 所以最终得到解向量(2 -2 -2 1)w '=，相应的判别函数为123()2221d x x x x =--+。 题5：用多类感知器算法求下列模式的判别函数： ω1: (-1 -1)T ，ω2: (0 0)T ，ω3: (1 1)T

模式识别习题及答案

第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 均值：∑==m i xi m x mean 11)( 方差：2)^(11)var(1∑=--=m i x xi m x 9.计算属性Marital Status 的类条件概率分布 给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。 ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(

模式识别习题及答案

第一章 绪论 1.什么是模式具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义让计算机来判断事物。 3.模式识别系统主要由哪些部分组成数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(

第三章模识作业

第三章 判别函数 1、在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 解:判别满足多类情况1的3类情况需N 1=3个判别函数；判别满足多类情况2的7类情况需N 2=C 72=21个判别函数。故至少需要N=N 1+N 2=24个判别函数。 2、一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 (1)设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 (2)设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。 (3)设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 解：(1)判别界面如下 1x ω∈的模式，应同时满足：d 1(x)>0，d 2(x)<0，d 3(x)<0

2x ω∈的模式，应同时满足：d 1(x)<0，d 2(x)>0，d 3(x)<0 3x ω∈的模式，应同时满足：d 1(x)<0，d 2(x)<0，d 3(x)>0 (2) 判别界面如下 1x ω∈的模式，应同时满足：d 12(x)>0，d 13(x)>0 2x ω∈的模式，应同时满足：d 21(x)>0，d 23 (x)>0 3x ω∈的模式，应同时满足：d 31(x)>0，d 32(x)>0 (3) 判别界面如下 1x ω∈的模式，应同时满足：d 1(x)>d 2(x)，d 1(x)>d 3 (x)

三角形类型的模糊模式识别

三角形类型的模糊模式识别 摘要：三角形类型的模糊模式识别问题，在生物细胞染色体形状的识别、癌细 胞以及白血球分类等问题中有很大意义。发现传统方法和参考论文所提出的新方法在某些三角形判断中的不足，故提出基于给定阈值5.0=λ的最大隶属度原则，提出关于三角形角度的指数型隶属度函数，并与其它两种方法进行对比，结果表明指数函数性质使所求得的隶属度差距较大、区别明显，便于识别，并且更贴近于人们的直观理解，能更好的实现三角形的分类。 关键词：三角形；最大隶属度原则；阀值原则；指数型隶属度函数 1、基本概念 a) 最大隶属度原则：当模式是模糊的，被识别对象时明确的，问题可以描述成：设~ ~ 2~ 1,...,,n A A A 是论域U 中的n 个模糊模式。0U 是U 中一个元素。若 有},...,2,1{n i ∈，使：()()}{max 010~ ~ u u j i A n j A μμ≤≤= 则认为0U 相对隶属于模式~ i A ，并称这种识别方法为最大隶属度原则。 b) 阀值原则：设~ ~ 2~ 1,...,,n A A A 是论域U 中的n 个模糊模式，规定一个阀值 ](1,0∈λ，U u ∈为一个待识别对象。若()()()λ<},...,,max{~ ~ 2~ 1u A u A u A n ，则 作为“拒绝识别”的判断；若()()()λ≥},...,,max{~ ~ 2~ 1u A u A u A n ，并且有k 个模 式()()()u A u A u A ik i i ~ ~ 2~ 1,...,,大于或等于λ，则认为识别可行。 2、指数型隶属度函数的建立 设三角形的三个内角分别为C B A ,,，并且约定0>≥≥C B A 。取特征因子集 ()}0,180,,{>≥≥=++=C B A C B A C B A U ο。 根据三角形的特征，在U 中规定5个具体的三角形：等腰三角形~ I ；直角三 角形~ R ；等边三角形~ E ；等腰直角三角形~ IR ；非典型三角形~ O 。各隶属度函数 定义如下： a) 等腰三角形~ I ：因为等腰三角形满足B A =或C B =，故：

模式识别作业第三章2(推荐文档)

第三章作业3.5 已知两类训练样本为 1:(0 0 0 )',(1 0 0)' ,(1 0 1)',(1 1 0)' ω 2:(0 0 1)',(0 1 1)' ,(0 1 0)',(1 1 1)' ω 设0)' (-1,-2,-2, )1(= W,用感知器算法求解判别函数，并绘出判别界面。 解：matlab程序如下： clear %感知器算法求解判别函数 x1=[0 0 0]';x2=[1 0 0]';x3=[1 0 1]';x4=[1 1 0]';x5=[0 0 1]';x6=[0 1 1]';x7=[0 1 0]';x8=[1 1 1]'; %构成增广向量形式，并进行规范化处理 x=[0 1 1 1 0 0 0 -1;0 0 0 1 0 -1 -1 -1;0 0 1 0 -1 -1 0 -1;1 1 1 1 -1 -1 -1 -1]; plot3(x1(1),x1(2),x1(3),'ro',x2(1),x2(2),x2(3),'ro',x3(1),x3(2),x3(3) ,'ro',x4(1),x4(2),x4(3),'ro');hold on; plot3(x5(1),x5(2),x5(3),'rx',x6(1),x6(2),x6(3),'rx',x7(1),x7(2),x7(3) ,'rx',x8(1),x8(2),x8(3),'rx');grid on; w=[-1,-2,-2,0]';c=1;N=2000; for k=1:N t=[]; for i=1:8 d=w'*x(:,i); if d>0 w=w; t=[t 1]; else w=w+c*x(:,i); t=[t -1]; end end if i==8&t==ones(1,8) w=w syms x y z=-w(1)/w(3)*x-w(2)/w(3)*y-1/w(3); ezmesh(x,y,z,[0.5 1 2]); axis([-0.5,1.5,-0.5,1.5,-0.5,1.5]); title('感知器算法') break; else end end

模式识别作业第三章2

第三章作业已知两类训练样本为 1:(0 0 0 )',(1 0 0)' ,(1 0 1)',(1 1 0)' ω 2:(0 0 1)',(0 1 1)' ,(0 1 0)',(1 1 1)' ω 设0)' (-1,-2,-2, )1(= W,用感知器算法求解判别函数，并绘出判别界面。 解：matlab程序如下： clear %感知器算法求解判别函数 x1=[0 0 0]';x2=[1 0 0]';x3=[1 0 1]';x4=[1 1 0]';x5=[0 0 1]';x6=[0 1 1]';x7=[0 1 0]';x8=[1 1 1]'; %构成增广向量形式，并进行规范化处理 x=[0 1 1 1 0 0 0 -1;0 0 0 1 0 -1 -1 -1;0 0 1 0 -1 -1 0 -1;1 1 1 1 -1 -1 -1 -1]; 】 plot3(x1(1),x1(2),x1(3),'ro',x2(1),x2(2),x2(3),'ro',x3(1),x3(2),x3(3),'ro',x4(1),x4 (2),x4(3),'ro');hold on; plot3(x5(1),x5(2),x5(3),'rx',x6(1),x6(2),x6(3),'rx',x7(1),x7(2),x7(3),'rx',x8(1),x8 (2),x8(3),'rx');grid on; w=[-1,-2,-2,0]';c=1;N=2000; for k=1:N t=[]; for i=1:8 d=w'*x(:,i); if d>0 w=w; t=[t 1]; else ￥ w=w+c*x(:,i); t=[t -1]; end end if i==8&t==ones(1,8) w=w syms x y z=-w(1)/w(3)*x-w(2)/w(3)*y-1/w(3); ezmesh(x,y,z,[ 1 2]); axis([,,,,,]); title('感知器算法') ！ break; else

模式识别4次作业汇总

北京工商大学 模式识别作业汇总（2014年秋季学期） 课程名称：模式识别 专业班级：计研141班 学生姓名：董文菲刘倩 指导教师：于重重 成绩： 2015年1月20日

第一次课的作业 1.在Matlab 环境下，利用第一题中给了matlab程序，尝试声音识 别过程，并把程序流程图画出。 解：程序实现了识别“kiss”与“love”两个声音的界面图。程序流程图如下： 2.运行网址

http://www.wcl.ece.upatras.gr/en/ai/resources/demo-emotion -recognition-from-speech 上的java applet ，了解声音识别的过程。 解：智能对话系统的测试点如下图所示， 该智能对话系统可以通过语音交互获取信息，控制娱乐设备等智能应用。情感识别的构成如下图： 情感识别依赖于先进的音频参数化技术，利用高斯混合模型训练情绪识别模型。目前负面情绪的识别得到了很好的结果。 3. 选择鸢尾花数据集（iris，网上下载），并尽可能多地使用《数据

挖掘导论第三章》介绍的不同的可视化技术完成数据预处理（可参看第三章资料中的辅助ppt），形成报告。文献注释和该书网站提供了可视化软件的线索。 解：（1）分类 选择朴素贝叶斯分类器算法，训练选项选择交叉验证，即把数据集分成若干份，1份作为验证集，其余部分作为训练集合。这样的方法保证了数据集的所有元素都被验证过。这里把数据集分为10份来进行训练。 分类器运行的信息，分类器训练的结果，分类器验证验证的结果、准确性计算等信息如下： Visualize信息图，3种类别用不同颜色表示出来。可以从图中看出哪些属性的组合具有较好的区分度。

模式识别与机器学习第三章作业

?在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多 少？ 解： ?一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 （1）设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 （2）设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。 （3）设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 解：

?两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变

化而改变。） ?用感知器算法求下列模式分类的解向量w: ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T} ?编写求解上述问题的感知器算法程序。

感知器算法程序源代码： X1=[0 0 0 1;1 0 0 1;1 0 1 1;1 1 0 1]; X2=[0 0 1 1;0 1 1 1;0 1 0 1;1 1 1 1]; X2=X2*(-1); A=[X1;X2]; w=[0 0 0 0]; %设置初始权向量flag=0; %设置标志 while flag==0 m=[0 0 0 0 0 0 0 0]; for i=1:8 y=w*A(i,:)'; if y<=0 w=A(i,:)+w; m(i)=1;

模式识别第二次作业

模式识别第二次作业 1、调用函数(matlab 工具箱函数)替代 svm_matlab 中的 fmincon 函数。 seqminopt函数的调用方法如下形式： [ALPHA OFFSET] = seqminopt(TRAINING,Y,BOXC,KERNELFUNC,SMOOPTIONS) W_fmincon = 用seqminopt替换fmincon后结果为： W_seqminopt = 可以发现两种形式下结果是一样的。设置100个离散点，分类结果为：

程序 close all; clear all; clc %生成训练数据 = 100; = 1 * [3; 5]; = randn(2, + kron, ones(1, ); = 50; = randn(2, + kron, ones(1, ); = 100; = -1 * [3; 5]; = randn(2, + kron, ones(1, ); = 50; = randn(2, + kron, ones(1, ); TestMatrix = zeros(2); cnt_c1 = 1; cnt_c2 = 1; tt = 1 : 1000; tt = (tt - 500) * ; figure; plot(1, :), (2, :), 'bo', 'linewidth', 2, 'markersize', 5) hold on; plot(1, :), (2, :), 'ko', 'linewidth', 2, 'markersize', 5) %要训练的数据及其类别 cnt = 1; X = zeros + , 3); for iii = 1 : X(cnt, 1 : 2) = (:, iii); X(cnt, 3) = 1; y(cnt, 1) = 1; cnt = cnt + 1; end for iii = 1 : X(cnt, 1 : 2) = (:, iii); X(cnt, 3) = 1; y(cnt, 1) = -1; cnt = cnt + 1; end %替换为seqminopt后不用下面这个 cnt = 1;

模式识别作业第三章2

第三章作业 3.5 已知两类训练样本为 1:(0 0 0 )',(1 0 0)' ,(1 0 1)',(1 1 0)' ω 2:(0 0 1)',(0 1 1)' ,(0 1 0)',(1 1 1)' ω 设0)'(-1,-2,-2,)1(=W ,用感知器算法求解判别函数，并绘出判别界面。 解：matlab 程序如下： clear %感知器算法求解判别函数 x1=[0 0 0]';x2=[1 0 0]';x3=[1 0 1]';x4=[1 1 0]';x5=[0 0 1]';x6=[0 1 1]';x7=[0 1 0]';x8=[1 1 1]'; %构成增广向量形式，并进行规范化处理 x=[0 1 1 1 0 0 0 -1;0 0 0 1 0 -1 -1 -1;0 0 1 0 -1 -1 0 -1;1 1 1 1 -1 -1 -1 -1]; plot3(x1(1),x1(2),x1(3),'ro',x2(1),x2(2),x2(3),'ro',x3(1),x3(2),x3(3),'ro',x4(1),x4(2),x4(3),'ro');hold on ; plot3(x5(1),x5(2),x5(3),'rx',x6(1),x6(2),x6(3),'rx',x7(1),x7(2),x7(3),'rx',x8(1),x8(2),x8(3),'rx');grid on ; w=[-1,-2,-2,0]';c=1;N=2000; for k=1:N t=[]; for i=1:8 d=w'*x(:,i); if d>0 w=w; t=[t 1]; else w=w+c*x(:,i); t=[t -1]; end end if i==8&t==ones(1,8) w=w syms x y z=-w(1)/w(3)*x-w(2)/w(3)*y-1/w(3); ezmesh(x,y,z,[0.5 1 2]); axis([-0.5,1.5,-0.5,1.5,-0.5,1.5]); title('感知器算法') break ; else end end

第三章作业判别函数

1. 在一个十类的模式识别问题中，有三类单独满足多类情况1，其余的类别满足多类情况2，问该模式识别问题所需判别函数的最少数目为多少？ 答：有3类满足多类情况1，区分它们需要3个判别函数，剩下七个满足多类情况2， 区分它们需要7*6/2=21个，共需要24个判别函数。 2．一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 (a) 设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一模式类别的区域。 (b) 设为多类情况2,并使d12(x)=d1(x),d13(x)=d2(x),d23(x)=d3(x).绘出其判别界面和多类情况2的区域。 (c) 设d1(x),d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 解：（a ）112120,10,10x x x x x -=+-=--=为三个判别界面。 (b) d12(x)=-x1, d13(x)=x1+x2-1, d23(x)=x1-x2-1 112120,10,10x x x x x -=+-=--=为三个判别界面 11213:0,0d d ω>> 22123:0,0d d ω>> 33132:0,0d d ω>>

(c) 属于1ω类的区域应满足1213()(),()()d x d x d x d x >>，故1ω的判别界面为 121212()()()210d x d x d x x x =-=--+= 131312()()()210d x d x d x x x =-=-++= 属于2ω类的区域应满足2123()(),()()d x d x d x d x >>，故2ω的判别界面为 212112()()()210d x d x d x x x =-=+-= 23232()()()20d x d x d x x =-== 属于3ω类的区域应满足3132()(),()()d x d x d x d x >>，故3ω的判别界面为 313112()()()210d x d x d x x x =-=--= 32322()()()20d x d x d x x =-=-=

模式识别_孙即祥_第3章习题解

第三章习题答案 一、设一3类问题有如下判决函数 d1(x) = - x1 d2(x) = x1 + x2 -1 d3(x) = x1 - x2 -1 试画出下列各种情况的判决边界及各类的区域： （1）满足3.4.2节中的第一种情况； （2）满足3.4.2节中的第二种情况, 且令 d12(x) = d1(x)，d13(x) = d2(x)，d23(x) = d3(x)； （3）满足3.4.2节中的第三种情况。 解： 1、两分法 2、Wi/Wj 两分法 3、没有不确定区的Wi/Wj两分法 二、证明感知器的收敛性。 证明： 如果模式是线性可分的，则存在判别函数的最佳权向量解，利用梯度下降法求解函数的极小值点，即为。 构造准则函数（k<0） 当 <０时，

当时，， ∵训练模式已符号规范化，∴寻求的最小值，且满足。 令k=1/2,求得准则函数的梯度 由梯度下降法，增广权矢量的修正迭代公式为： 取＝１，则上述准则下的梯度下降法的迭代公式与感知器训练算法是一致的。∵梯度下降法是收敛到极小值点的，∴感知器算法也是收敛的。 三、习题3.4 证明： MSE解为 其中： 则对应的 化简 由上式可得： 由（1）式可得： 代入（2）式得： ∵为标量 ∴ 为一标量 ∴

∵、设为行向量，如果设为列向量 则 而Fisher最佳判别矢量为 不考虑标量因子的影响，和完全一致 ∴当余量矢量时 MSE解等价于Fisher解。 四、 解： 设、在判别界面中 （1）－（2）得 ∵在判别界面中 ∴平面 则平面的单位法矢量为 设点P在判别界面d( )=0中，则 ∵ ∴ 当和方向相同时，即为点到平面的距离时