基于隐马尔科夫模型的人脸识别

基于隐马尔科夫的人脸识别

1人脸检测及常用算法

人脸检测，指的是从输入的图像（或者视频）中确定人脸的位置、大小和姿态的过程， 是进行人脸识别的基础，也是实现人脸识别功能的一个关键环节。

人脸检测是一种计算机视觉中的模式识别问题，就是将所有的人脸作为一个模式，而非人脸作为另一种模式，人脸检测的核心问题就是将人脸模式和非人脸模式区别开来。人脸检测的算法主要分为两大类，基于先验知识的和基于后验知识的学习和训练的算法。

常见人脸检测的算法有：基于特征子脸人脸检测算法：该算法将所有人脸的集合视作一个人脸子空间，通过检测样本与子空间之间的投影距离检测样本中是否存在人脸；基于模板匹配的人脸检测算法：该算法先设计一个代表标准人脸的模板，将进行检测的样本与标准模板进行比对，通过考察样本与标准模板的匹配程度，设置合理的阈值来检测样本中是否存在人脸；神经网络人脸检测算法：该算法是一种学习算法，用于学习的训练集分为属于人脸图像的训练集和非人脸图像的训练集两类，通过学习从而产生分类器进行人脸检测；基于纹理模型的算法，对于人脸图像的灰度共生矩阵进行计算可以获得倒数分差、惯量相关特征这三个特征矩阵，然后通过迭代计算求得人脸图像矩阵中的参数。使用这种方法取得的模型就被称为人脸纹理模型。若人脸姿态有旋转，通过对眼睛进行定位可以计算出人脸的旋转角度或者使用投影直方图FFT 变换等方法确定人脸旋转的方向，再进行人脸检测。

1.1Haar 特征

Harr 特征是一种矩形特征，在特征提取时由四类特征组成特征模板—边缘特征、圆心环绕特征、线性特征和特定方向的特征。特征模板包括白色矩形和黑色矩形两种。白色矩形内像素和（Sum 白）减去黑色矩形像素和（Sum 黑）就是模板的特征值。Haar 特征反映的是图像中相邻矩形区域的灰度变化。

Haar 特征的每一个特征值feature 可以表示为：

()i N

i i r rectsum feature ?=∑=1

ω

其中i ω表示矩形的权重，()i r rectsum 表示矩形所包围图像的灰度值之和。Paul Viola 和Michacl Joncs 提出积分图算法提高图像举行特征的计算速度。

对于对象中的任意一点()y x ,A ，其灰度值为()y x i ,，积分图()()∑'

≤≤'''=y y x x y x i y x ii ,,,，

经过对图片的一次遍历，就可以得到图像中每一个点的积分图的值。

假设需要计算矩形 D 的特征，其顶点为点 1、2、3、4。这样，矩形 D 的

特征为()()()(

)1324ii ii ii ii feature d +--=。 1.2AdaBoost

AdaBoost （the Adaptive Boosting Algorithm ）算法是一种用于分类器训练的算法该分类器算法，是一种基于统计模型的迭代算法。核心思想在于将一系列弱分类（Basic Classifier ）器通过一定的方式进行叠加（Boost ）后形成一个分类能力很强的强分类器（Strong Classifier ）。

首先，获得用于训练的样本库，样本库需包含正负样本。就人脸识别而言，即需获得人脸图片与非人脸图片，选择人脸图片时需考虑样本的多样性，选择非人脸图片时需要考虑样本是否具有代表性。在选取了合适的样本集合后对其进行循环处理，每次循环处理后可以得到一个假设。接下来对这个假设进行验证，得到使用该假设进行分类的错误率。在开始下一轮循环之前依据该错误率调整每个样本所占的权重。在实际训练过程中，第一次使所有样本的权重相同进行训练，从而得到一个弱分类器。然后使用这个得到的弱分类器进行人脸图片与非人脸图片的分类，得到分类结果。依据结果降低可正确分类的样本的权重，提高被错误分类的样本所占的权重再进行训练，从而得到一个新的分类器，之后重复上述步骤进行循环训练。这样，经过 T 次循环训练之后，就得到了T 个弱分类器，将这 T 个弱分类器经过加权叠加，就得到了强分类器，理论上将，无穷多个大于50%的弱分类器的联合，其分辨正确率可以达到100%。

1.3分类器

最初的弱分类器可能只是一个最基本的Haar-like 特征，计算输入图像的Haar-like 特征值，和最初的弱分类器的特征值比较，以此来判断输入图像是不是人脸。比较输入图片的特征值和弱分类器中特征，一定需要一个阈值，当输入图片的特征值大于该阈值时才判定其为人脸。训练最优弱分类器的过程实际上就是在寻找合适的分类器阈值，使该分类器对所有样本的判读误差最低。

具体操作过程：

1、对于每个特征 f ，计算所有训练样本的特征值，并将其排序。

2、扫描一遍排好序的特征值，对排好序的表中的每个元素，计算下面四个值： 全部人脸样本的权重的和t1； 全部非人脸样本的权重的和t0；

在此元素之前的人脸样本的权重的和s1； 在此元素之前的非人脸样本的权重的和s0

3、求出每个元素的分类误差)))11(0()),00(1min((

s t s s t s r -+-+=，在表中寻找r 值最小的元素，则该元素作为最优阈值。有了该阈值，就生成一个最优弱分类器。

强分类器的诞生需要T 轮的迭代，具体操作如下： 1、归一化权重：

∑

==

n j i

t i

t i t w w q 1

,,,

2、对每一个特征f ，训练一个弱分类器h ，计算此f 特征的加权错误率f e ：

()i i i i f y p f x h q e -=∑θ,,,

3、选取具有最小错误率 f e 的弱分类器h

4、调整权重

i e t j i j i w w -+=1,,1β，其中0=i e 表示x 被正确分类，1=i e 表示被错误分类，t

t

t εεβ-=

1 5、级联成强分类器

(){

()else 21

10

1

1

∑∑===≥τ

τ

ααt t t

t

x h x C

，其中t

t βα1

log =

将多个训练出来的强分类器按照一定的规则串联起来，形成最终正确率很高的级联分类

器。对于人脸需要进行多尺度检测，通常是不断初始化搜索窗口size 为训练时的图片大小，不断扩大搜索窗口，进行搜索。

级联分类器在进行串联时的原则是“先重后轻”，即将重要特征构成的结构比较简单的分类器放在前面，而后一级的分类器都比前一级使用更为复杂的矩形特征，由于靠前的分类器用于判断的特征相对简单，例如

只有一两个矩形框，这种分类器并不能满足人脸检测的需求，但是能够迅速筛选掉大量不是人脸的子窗口。这样，虽然后续分类器的矩形特征在增多，但是由于需要进行后续检测的子窗口的数量大为减少，整体计算量在减少，极大地提升了人脸检测的速度，并且保证了最后的得到的人脸检测结果伪正（false positive ）的可能性非常低。

2人脸识别算法

人脸识别是对对某张特定人脸图片进行身份确认，关键在于在人脸共性特征中寻找不同人物的个性特征并以有效的算法（计算机可以理解并加以运算）进行描述和区分。常用的识别算法有：

1、基于几何特征的识别算法—1966 年，Bledsoe 就提出了基于几何特征的人脸识别算法，选取的几何特征是人脸面部特征点之间的距离和比例。

2、基于 PCA 的识别算法—输入的人脸图像描述为“特征脸”的线性组合，不同的人脸特性用构成该种线性组合的系数来进行描述，其关键技术是PCA

3、基于隐马尔可夫模型的识别算法—以二维离散余弦变换特征提取获得观察向量，构建起人脸的 EHMM 模型。之后，利用 EM （Expectation Maximization ）算法（B-W 算法）进行训练，训练后得到每个人对应的 EHMM 模型。这样在识别阶段就可以计算得到人脸图片观察向量属于每个人物 EHMM 模型的概率，用于该概率进行比较，选择概率大者为匹配结果，从而完成识别工作。

其他的还有基于神经网络的识别算法、基于支持向量机识别算法、三维人脸识别算法等等。

几种主流识别算法比较： 算法名称

特点

基于几何特征的算法 特征简单，但是不易提取到稳定的特征，识别率不高，鲁棒性不高

特征脸算法（PCA ）

简单有效，是人脸识别的基准算法，但是识别率不高，对于表情和姿态的鲁棒性不强，计算时间随着样本数量增多呈指数增加，新样本扩容时需要对多有的样本进行重新训练。

隐马尔科夫模型（HMM ） 识别率高、对人脸姿态、表情变化鲁棒性强，对于人脸库扩容适应性好，实现比较复杂 神经网络（NN ）

不需要复杂的特征提取，可使用硬件进行加速，但是神经元的数量多，运算时间长，需要较多的人脸进行训练，训练过程需要认为控制

支持向量机（SVM ） 在小样本空间识别率较好，但是识别过程中需要对核心函数参数进行调整。

奇异值分解（SVD ） 特征稳定性好，具有选择、位移等不变性质，但是识别率不高。

三维人脸识别算法

识别率高，人脸三维模型的构造和存储开销大、需要借助专业设备进行三维建模。

3隐马尔可夫（HMM ）数学模型

马尔可夫模型可视为随机有限状态自动机。HMM 是建立的马尔科夫模型基础上，由两个随机过程构成，一个是具有状态转移的马尔科夫链，另一个是描述观察值和状态之间关系的随机过程。

HMM 构成：

1、N ：HMM 中马尔科夫链的状态数。假设S 是状态的集合，{}N S S ,...,,S S 21=，该模型在t 时刻的状态为t q 。

2、∏：初始状态矢量，{}i π=∏，()i S q p ==1i π

3、A ：状态转移概率，{}

ij a A =，()i t i t ij S q S q p a ===-1|

4、M ：状态可能对应观察值的数目，可能的观察值为m V V ....,V 21，t 时刻的观察值为t O

5、B ：观察值概率矩阵，{}

jk b =B ，其中()i t k t jk q S V O p b ===| HMM 的三个基本问题是：

1.给定模型（五元组），求某个观察序列O 的概率。

2.给定模型和观察序列O ，求可能性最大的隐藏状态序列。

3.对于给定的观察序列O ，调整HMM 的参数，使观察序列出现的概率最大。

3.1向前算法解决1

()()()()S X O P X S P X S O P X O P S

S

,|*||,|∑∑==

，但其时间复杂度达到指数级

别，太慢了，用动态规划的思想解决—向前算法：

定义向前变量：()()λα|,...21i t t t S q O O O p i == 1、初始化先前变量：()i i i i O b πα=

2、再将向前变量进行递归运算，其中N j T t ≤≤-≤≤1,11:

()()k i k j N j j i t i V O b a i j =??

?

???=+=+∑1.1,1|αα

3、结束： ()()i O p N

j t ∑==

1

|αλ

向后算法类似于向前算法（向后变量为：()()i t T t t t S q O O O p i ==++|...21β）

3.2Viterbi 算法解决2

将()i t ?定义为时刻t 沿一条路径t q q q q ...,,321，并且t t q θ=，产生出t O O O ,...,,21的最大概率值：

()()λθ?|...,,,...,,2121,..,,1

21t i t q q q i t O O O q q q p MAX t ==-

最优状态序列*Q 进行求解过程如下： 1、对()i t ?进行初始化：

()()1O b i i i t π?=，

2、进行递归运算：

()()()N j N t O b a i MAX j t j N

i ij t t ≤≤≤≤??

???

?=≤≤-1,2,11??

()()N j N t a i Max j N

i ij t t ≤≤≤≤??

???

?=≤≤-1,2,arg 11??

3、结束

()[]()()[]i M a x i q i M a x p T t t ???a r g ,==**

4、最优状态序列：

()

*+=*=11t t t q q ?

3.3EM 算法

EM 算法是 Dempster ，Laind ，Rubin 于1977年提出的求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行MLE 估计。 EM 算法流程： 初始化分布参数θ

重复以下步骤直到收敛：

E 步骤：根据参数初始值或上一次迭代的模型参数来计算出隐形变量的后验概率，即隐性变量的期望，将其作为隐藏变量的现估计值：

M 步骤：将似然函数最大化以获得新的参数值

3.4Baum-Welch 解决 HMM 问题3

该问题是对于一个观察值序列t O O O O ....,21=，如何调整HMM 模型()B A ,,πλ=的参数，从而使()λ|O p 最大。

采用递归的思想，从局部最大递归至全局最大。

定义辅助变量：对于给定的训练序列O ，HMM 模型λ，马尔科夫链在t 时刻的状态为i ，在t+1时刻的状态为j 的概率：()()

λξ,|,,1t O S q S q p j i j t t ===+，其也可表示为：

()()

()λλξ||,,,1O p O j q i q p j i t t t ===

+

()()()()

()()()

∑∑==++++=

N i N

j t j t j

i t

t j t j i t t O b j a

i O b j a i j i 11

11,11,,βαβαξ

另外一个辅助变量是后验概率，该概率表示的是HMM 模型在t 时刻的状态为i 的概率：

()()λγ,|O i q p i t t ==

()()()()()

j i j i i t N i t t t t βαβαγ∑==1

两个辅助变量的关系是：

()()∑==N

j t t j i i 1

,ξγ

如果对于时间轴t 上的所有()i t γ相加，我们可以得到一个总和，它可以被解释为从其他隐藏状态访问Si 的期望，或者如果我们求和时不包括时间轴上的t = T 时刻，那么它可以被解释为从隐藏状态Si 出发的状态转移期望值。相似地，如果对()i t ξ在时间轴t 上求和（从t=1 到t=T-1），那么该和可以被解释为从状态Si 到状态Sj 的状态转移期望值。

()∑-=11

T t t

i γ=expected number of transition from i

S

()∑-=11

,T t t

j i ξ=expected number of transition from j

i toS S

使用Baum-Wclch 算法对()πλ,,,,B A M N =进行参数估计，从而使得()λ|O p 这个概率最大。

计算过程如下：

1、计算向前变量α，向后变量β，两个辅助变量γξ

2、使用下面公式对HMM 模型的参数进行估计，得到的新模型为λ

()N i i t ≤≤=1,γπ

()

()

N j N i i j i a T t t

T t t j i ≤≤≤≤=

∑∑-=-=1,1,,11

1

1,γξ

()()()

M k N j i j i k b T t t

T V O t t

j k

t ≤≤≤≤=

∑∑-=-==1,1,,1

1

1

,1γξ

重复上述过程，直至()λ|O p 不再明显增大，就认为()λ|O p 收敛，这样对样本HMM 训练完成。

4人脸的 EHMM 模型

人脸图像是二维的，仅用一维的 HMM 模型对人脸图像进行描述并不精确。为了提高人 脸识识别的精确度，Nefian 提出了嵌入式隐马尔可夫模型（Embedded Hiden Markov Model ， EHMM ）。对于嵌入式隐马尔可夫模型的研究是建立在 HMM 的基础上的。HMM 模型表示的是人脸图片从上到下的结构特点，同样，人脸具有从左到右的稳定结构。可以对人脸图片先进行上到下的划分，得到人脸一维 HMM 模型，称之为主 HMM 。在已经划分出的五个状态从水平方向再进行一次划分，可以到的 5 组水平方向的 HMM 状态，这 5 组 HMM 称之为子 HMM 。主 HMM 的状态通常情况下被称为超状态（Super State ），子状态（State ）则是水平方向的子 HMM 的状态。由于子 HMM 是限定在主 HMM 内部进行划分的，所以将这种模型称之为嵌入式隐马尔可夫模型（EHMM ）。

4.1离散余弦变换

离散余弦变换时一种常用的数据压缩方法。压缩质量接近于信息压缩的最优变换—KL 。对于一副图像M*N 的数字图像()y x f ,，其2D 离散余弦变换定义为：

()()()()()()???

??+??? ??+=∑∑-=-=N v y M x y x f v a u a v u C M x N y 212cos 212cos ,,101

πμπ

式中，()v C ,μ为变换结果，也称作DCT 系数，()()v a a ,μ定义为：

(){

,11

,...,2,1,2

=-==

μμμM M M

a

(){

0,11

....,2,1,2=-==

v N

N v N

v a 离散余弦变换的特点：频域变化因子 μ，v 较大时，DCT 系数()v C ,μ的值很小，而数值较大的()v C ,μ主要分布在 μ，v 较小的左上角区域，也就是有用信息的集中区域。

4.2二维Gabor 小波

小波函数的实质是：带通滤波器。

Gabor 滤波器可以看作是一个对方向和尺度敏感的方向性的显微镜,Gabor 滤波器函数将在与其震荡垂直的边沿处产生强烈的响应,而边缘对物体的识别是至关重要的,Gabor 滤波器函数还能够检测到(即响应)图像中的一些具有相应的方向频率信息的局部的显著特征,从而可以形成亮点图像的局部特征图谱,这些局部特征形成了原始输入图像的一种鲁棒、紧凑的特征表示

Gabor 小波变换作为唯一能够取得空域和频域联合不确定关系下限的Gabor 核函数 经常被用作小波基函数,是图像的多尺度表示和分析的有力工具,二维Gabor 滤波器的函数形式可以表示为：

()[]2

22

2

2

2

22σ

σσ

?--

-=

e e

e k

z z

k i z k k

()y x z ,=.方括号中的第一项决定了 Gabor 核的震荡部分,刻画图像边缘部分的特性,第二项为补偿直流分量,用以消除和函数响应对图像亮度绝对值变化的依赖,以保证不同亮度值构成的均匀亮度区域的响应接近相同。其中,参数k 控制着高斯窗口的宽度、震荡部分的波长和方向,参数σ则决定了窗口的宽度和波长的比例关系。

上式定义的Gabor 核函数可以定义出一组滤波器。在进行运算过程中，需要对核函数进行频域下采样，即将k 离散化： u i v e k k φ

=

其中，8/u πμφ=，体现滤波器的方向性，v

v f k k max =，为滤波器的采样频率，v 和μ为尺度参数和方向参数，一般情况下{}{}7....1.,0,4...1,0∈∈μv 。

脸图像的Gabor 特征由人脸图像和Gabor 滤波器组卷积得到,令()j i f ,表示人脸图像的灰

度分布,那么()j i f ,和Gabor 滤波器的卷积可定义为: ()()()z y x f v y x G v ,,,,,μψμ*=

Gabor 卷积过程实际产生由实部和虚部两个分量构成的复数响应,在边缘附近,Gabor 变换的实部和虚部会产生振荡,而不是一个平滑的峰值响应，而幅值的变化相对平滑而稳定,人脸识别的Gabor 特征通常只是采用Gabor 特征的幅值,也就是实部和虚部的模值。 提取到的Gabor 特征维数巨大，需要后续的降维处理。（PCA 降维）

4.3人脸特征向量的提取

使用二维离散余弦变换对人脸图片进行特征提取，对于一副图像，其2D-DCT 变换为：

()()()()()()???

??+??? ??+=∑∑-=-=N v y M x y x f v a u a v u C M x N y 212cos 212cos ,,101

πμπ，

图像变换为能量集中在低频区域，所以选择低频系数作为观察向量。从而降低里观察向量

的维数，从而减少了进行HMM 训练时和识别的计算量。

对图片进行特征提取时，并不是对整幅图片进行 2D-DCT 采样，而是对图片使用遍历 的算法进行采样，采样时，使用像素值为P （宽度）*L （长度）的采样窗口在图像上从左至 右，从上到下进行滑动，相近的采样窗口移动的步长为 X *Y ，采样完毕后截取 2D-DCT 变 换的低频系数作为特征向量，这样可以得到 EHMM 模型中各个状态所代表人脸区域中的特征向量，从而对人脸图片进行更为精确的 EHMM 建模。

4.4HMM 算法的训练和识别过程

4.4.1训练过程

训练就是指将样本库中的每一个人的人脸图像确定 HMM 参数、建立 HMM 模型的过程。

（1）首先要将图像进行均匀的分割，并且提取出对应图像的观察值序列。

（2）对 HMM 的参数进行初始化，确定模型的状态数和观察序列向量的大小。 （3）使用迭代计算初始的 HMM 参数。首先将图像统一分割以对应 HMM 的每一个状态。 然后用 Viterbi 分割（在 EHMM 中使用双重 Viterbi 分割）代替上述的分割。这一过程将输出一个初始的 HMM 参数，作为进行下一次重估 HMM 参数的输入。

（4）用 Baum-Welch 算法对上面得到的 HMM 参数进行重估。依据训练图像的观察向量， 将 HMM 参数调整到一个局部最大值。这个过程得到的输出就可以训练图像的 HMM 最终模型。

4.4.2识别过程

HMM 的识别过程是先提取待识别图像的观察向量，然后用 Viterbi 算法计算该图像属于 每个人的概率，取概率最大的那个作为识别结果。具体过程为： （1）提取待识别图像的观察向量序列reg O 。

（2）用获得的观察向量计算与每一个人 HMM 模型的匹配程度，假设有 M 个人，计算

()M k O p k reg ≤≤1,|λ

在实际计算中，经常以 Viterbi 算法计算得到的最大相似概率作为上述概率的代替。 （3）选取上述概率最大的值作为识别结果，或当最大值不满足识别阈值时判断为该人脸 图片不属于该人脸库中的人物。 识别过程如下图：

待识别人脸图像

特征提取得到观察

向量序列

P(O|R2)

P(O|R1)

P(O|RN)

选取最大概率

高于阈值

识别结果

不存在识别任务

是

否

马尔科夫链在传染病预测中的应用

马尔科夫链在传染病预测中的应用 作者：付长贺， 邓甦， FU Chang-he， DENG Su 作者单位：沈阳师范大学数学与系统科学学院,辽宁,沈阳,110034 刊名： 沈阳师范大学学报(自然科学版) 英文刊名：JOURNAL OF SHENYANG NORMAL UNIVERSITY(NATURAL SCIENCE EDITION) 年，卷(期)：2009，27(1) 被引用次数：2次 参考文献(8条) 1.施海龙.曲波.郭海强干旱地区呼吸道传染病气象因素及发病预测[期刊论文]-中国公共卫生 2006(04) 2.巴剑波.方旭东.徐雄利马尔科夫链在海军疟疾疫情预测中的应用[期刊论文]-解放军预防医学杂志 2001(02) 3.何江宏.陈启明基于Markov链的最优化预测模型及其应用研究[期刊论文]-合肥学院学报(自然科学版) 2006(01) 4.杨玉华传染病模型的研究及应用[期刊论文]-数学的实践与认识 2007(14) 5.邓甦.付长贺四种贝叶斯分类器及其比较[期刊论文]-沈阳师范大学学报(自然科学版) 2008(01) 6.余雷.薛惠锋.李刚传染病传播模型研究[期刊论文]-计算机仿真 2007(04) 7.王春平.王志锋.单杰随机时间序列分析法在传染病预测中的应用[期刊论文]-中国医院统计 2006(03) 8.吴家兵.叶临湘.尤尔科时间序列模型在传染病发病率预测中的应用[期刊论文]-中国卫生统计 2006(03) 相似文献(3条) 1.期刊论文孟胜利.徐葛林.程满荣.舒祥.雷勇良.朱风才.周敦金.王定明.明贺田.吴杰.严家新.杨晓明中国狂犬病病毒遗传多样性分析-中国生物制品学杂志2010,23(5) 目的 分析中国狂犬病病毒(RV)的遗传多样性,为我国狂犬病的预防提供理论依据.方法 采用RT-PCR技术扩增26株RV N基因,并进行测序,与GenBank登录的序列进行比对,构建进化树,分析RV的基因分型和分组情况以及时间和空间的动态进化.结果 中国RV分为2个大的进化分支(8组),分支Ⅰ包括1～4组,分支Ⅱ包括5～8组,组内核苷酸同源性≥93.2%,氨基酸同源性≥94.3%;组间核苷酸差异性≥8.0%,氨基酸差异性≥1.7%;运用贝叶斯中的马尔科夫链的蒙特卡洛方法,估计中国RV N基因核苷酸的平均碱基替代率为1.408 9×10-4取代/位点·年,共同祖先出现在公元968年.结论 中国狂犬病病毒株均属于基因1型狂犬病病毒,存在跨地域、跨宿主传播;我国分支Ⅰ狂犬病病毒株与泰国、越南、菲律宾、印度尼西亚、马来西亚等东南亚国家分离的狂犬病病毒株起源相同;分支Ⅱ的毒株在全球分布. 2.会议论文孟胜利.严家新.徐葛林.程满荣.吴杰.雷勇良.朱风才.周敦金.王定明.杨晓明中国狂犬病毒遗传多样性研究2009 在1969-2008年间，我们从全国各地共分离到60株街毒株，其中从犬脑中分离到41株，鼬獾中分离5株， 人脑中分离到4株，鹿脑中1株，我们对这61株狂犬病毒株的N基因的进行了序列测定，初步分析后选取26株代 表株与GenBank得到42株中国毒株N基因序列共计68株序列进行全面的进化分析。以探讨中国狂犬病毒株的基 因分型和分组情况、时间和空间的动态进化。结果表明：我们发现目前分离的中国毒株都属于基因1型狂犬病毒，可以分为2个大的进化分支共计8个组，分支I包括1-4组，分支Ⅱ包括5-8组，组内核苷酸同源性≥93．2%，氨基 酸同源性94．3%;组间核苷酸差异性至少是8．0%，氨基酸差异至少是1．7%;选择压力分析表明中国狂犬病毒处 于较强的净化选择约束下，狂犬病毒N蛋白中的核苷酸突变主要是同义突变;运用贝叶斯中的马尔科夫链的蒙特 卡洛方法估计中国狂犬病毒N基因核苷酸的平均喊基替代率为1．4089×10-4取代/位点/年，共同祖先出现在公元 1040年前;同一毒株或者核苷酸同源性很高的毒株在不同地点、不同宿主中出现表明中国狂犬病毒株存在跨地域、 跨宿主传播;我国狂犬病高发区流行的毒株(分 3.学位论文王家赠接触振子系统与接触粒子系统中的几类合作行为2008 本文主要研究非线性系统中的一些时空动力学与合作行为，分为连续系统和离散系统两个部分. 在第一部分中，我们研究时间连续、空间分立的接触振子系统的一些动力学行为.以 Josephson节方程作为基本振子，也就是经典力学中的单摆方程.依照循序渐进的原则，分别研究了：周期驱动下的振子、两个耦合振子、一维耦合多振子链.揭示了新的非线性动力学和合作行为. 在直流驱动的Josephson振子上加入周期驱动，形成两个相互竞争的频率.频率的竞争导致各种同步解.分别大阻尼和小阻尼两种情况，我们介绍了Poincaré映射在相平面上的不变曲线以及它的性质；利用Arnold舌头显示了参数空间上的分支特征.在小阻尼情况下，研究了混沌产生的特点. 对于两个具有不同自然频率的Josephson振子，在线性扩散耦合和正弦耦合两种情况下，研究了这些系统的不同状态之间的相变特征.同时在正弦耦合的系统中发现了混沌解的存在. 在一维耦合多振子链模型，取周期边界条件.在一定条件下，系统中会产生一类特殊的解.只要一点非常小的驱动力，整条链中的粒子就会同步地转动.这种解被命名为“超-旋转”态.我们揭示了这种解产生的机制. 在第二部分中，我们研究了复杂网络上的传染病动力学.主要使用了易感者一感染者一移除者(Susceptible-infected-removed；记为SIR，下同)模型.对于这种类型的传染病在任意网络上的传播，首先在亚宏观水平建立了一个马尔科夫链模型，得到了一些性质.到目前为止，我们对几类特殊结构的网络进行了解析处理.对于大量与实际更加接近的网络，我们还是用宏观的方法，建立了不同的平均场率方程模型，并分析传播的阈值条件. 对于任意网络上的SIR型传播，我们首先建立了一个时间齐次的马氏链模型，利用转移概率矩阵证明了马氏链的收敛性.利用这个模型，可以对几种特殊的网络结构进行解析求解. 实际问题中，各个节点传播疾病的能力往往是不一致的，所以不同的接触过程，它们传播疾病的概率是不一样的.体现在网络上，就是通过连线的传播率不是定常系数，而是有一个分布.在第六章中，我们研究了这个因素对于传播带来的影响. 节点和节点之间的连接并不总是完全随机的，有的带有一定的选择性。形成了相关性网络。关于相关性网络上的传播问题，已经有了一些理论结果.但是我们觉得有些地方值得进一步的商榷与提高.在第七章中，我们给出了求解SIR模型的新方法.基于连接矩阵，我们定义了计算相关性的方法. 在第八章中建立了有向网络上的传播模型，并进行了求解.得到了有向网络上传播阈值的约束条件.最后讨论了在有向网络上如何进行连接相关性度量的问题. 第九章是对本文中所做研究的总结与展望.

隐马尔科夫模型

隐马尔科夫模型 一、引入 二、定义 三、隐马尔科夫模型的计算 （1）估值问题 （2）解码问题 （3）训练问题 四、隐马尔科夫各种结构 H M M的由来 ?1870年，俄国有机化学家V l a d i m i r V.M a r k o v n i k o v第一次提出马尔科夫模型 ?马尔可夫模型和马尔可夫链

? 隐式马尔可夫模型(H M M ) 马尔可夫性 ? 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程 ? X (t+1) = f(X(t)) 马尔可夫链 ? 时间和状态都离散的马尔科夫过程称为马尔科夫链。 设在时刻t 的随机变量用t S 表示，其观察值用t s 表示，则如果当11s S ，

22s S =,……，t t s S =的前提下，11++=t t s S 的概率是如下式所示，则称为n 阶Markov 过程。 )|()|(1 1 111111t n t t n t t t t t t t s S s S P s S s S P +-+-++++===== (1) 这里t S 1 表示1S ，2S ，……，t S ，t s 1 表示1s ，2s ，……，t s ，t t s S 11=表示11s S =， 22s S =，……，t t s S =。特别的当如下式成立时，则称其为1阶Markov 过程， 又叫单纯马尔可夫过程。 )|()|(111 111t t t t t t t t s S s S P s S s S P =====++++ (2) 即：系统在任一时刻所处的状态只与此时刻的前一时刻所处的状态有关。而且，为了处理问题方便，考虑式（2）右边的概率与时间无关的情况，即： )|[)1,(1i t j t ij s S s S P t t P ===++ （3）

基于离散隐马尔科夫模型的语音识别技术

第24卷　第2期 2007年6月 河　北　省　科　学　院　学　报Journal of the Hebei Academy of Sciences Vol .24No .2June 2007 文章编号:1001-9383(2007)02-0008-04 基于离散隐马尔科夫模型的语音识别技术 高清伦,谭月辉,王嘉祯 (军械工程学院计算机工程系,河北石家庄　050003) 摘要:概述语音识别技术的基本原理,对当前三种主要识别技术———动态时间规整技术、隐含马尔科夫模型 技术及人工神经网络技术进行比较,重点介绍基于离散隐马尔科夫模型(DH MM )的语音识别系统的实现。关键词:语音识别;隐马尔科夫模型;动态时间规整;人工神经网络中图分类号:T N912.34 文献标识码:A Speech recogn iti on technology ba sed on d iscrete H MM GAO Q ing 2l un,TAN Yue 2hu i,WAN G J i a 2zhen (D epart m ent of Co m puter Engineering,O rdnance Engineering College,Shijiazhuang Hebei 050003,China ) Abstract:The conditi on and the basic p rinci p le of s peech recogniti on technol ogy are intr oduced,three differ 2ent kinds of s peech recogniti on syste m s such as DT W ,H MM ,ASR are compared,and p lace e mphasis on how t o realize DH MM in s peech recogniti on syste m is p resented e mphatically . Keywords:Speech recogniti on;H idden Markov Model (H MM );Dyna m ic Ti m e W ar p ing (DT W );A rtificial Neural Net w ork (ANN ) 语音识别技术是语音信号处理技术一个重要的研究方向,是让机器通过识别和理解过程把人 类的语音信号转变为相应的文本或命令的技术,它属于多维模式识别和智能计算机接口的范畴,涉及到声学、语音学、语言学、计算机科学、信号与信息处理和人工智能等诸多学科,是21世纪衡量一个国家信息科学技术发展水平的重要标准之一。 1语音识别技术概述 语音识别系统本质上是一种模式识别系统, 目前有很多语音识别算法,但其基本原理和基本 技术相似。一个完整的语音识别系统一般都包括有特征提取、模式匹配和参考模式库3个基本单元,它的基本结构如图1所示。 (1)特征提取 所谓特征提取就是从语音信号中提取用于语 音识别的有用信息,其基本思想是将预处理过的信号通过一次变换,去掉冗余部分,而把代表语音本质特征的参数抽取出来,如平均能量、平均跨零率、共振峰、LPC 系数、MFCC 系数等。 图1语音识别系统基本结构 (2)模式匹配 这是整个语音识别系统的核心,它是根据一定规则(如H MM )以及专家知识(如构词规则、语法规则、语义规则等),计算输入特征与参考模式 3收稿日期:2007-01-26 作者简介:高清伦(1976-),男,河北沧州人,硕士,主要从事信息工程理论应用方面的研究.

基于隐马尔科夫模型的股指预测

基于隐马尔科夫模型的股指预测和股指期货模拟交易研究 张莎莎河南大学在读研究生商学院 引言 计算标的股票价格的加权值得到的结果，即是股票指数。股指期货也可称为股价指数期货、期指，是指以股价指数为标的物的标准化期货合约，双方约定在未来的某个特定日期，可以按照事先确定的股价指数的大小，进行标的指数的买卖，到期后通过现金结算差价来进行交割。2010年2月20日，中国金融期货交易所沪深300股指期货合约，以及详细的业务规程，由中国证监会正式批准施行。自2010年4月16日以来，在上海和深圳将近有300个股票指数期货合约正式开始交易。与股指期货相对应的是套期保值、组合风险管理和风险套利。对股票指数的预测，如果投资者判断的方向正确，那么就可以获得高回报，否则他们将遭受巨大损失。无论是在哪个或者领域，人们都希望找到一种能够预测股票走势的定量方法，以达到获得超额收益的目的。所谓的市场时机，就是要选择购买（做多）和卖出（做空）的时间，创造一套模拟程序来预测指数走势。根据时间和方法的选择，可划分为基本的定时和定时技术。基于时机的宏观经济，能够影响资产价格或行业预测的资产价格，一般适用于长期市场，决定未来发展趋势；而定时技术的选择，即使是在重复类似的交易价格的前提下，来确定资产价格的趋势，只要有足够的自由裁量权的赢家还是可以获得超额收益，主要适用于短期市场甚至高频市场。早在上世纪八十年代末，就有国外学者把隐马尔可夫模型定义为一个双重嵌套的随机过程。而国内金融工程领域对该模型的研究尚处于不成熟阶段。罗军2009年做出的广发证券研究报告表明，在国内，该模型在周择时的应用上还是卓有成效的。 一、相关理论 （一）马尔科夫过程 马尔科夫过程，指的是一类具有马尔科夫性的随机过程，因安德烈·马尔可夫（A.A.Markov，1856－1922）而得名。对于这个过程，如果该过程当前的状态是确定的，那么与之相应的过去的历史状态和以后的未来状态是不相关的。可将其定义如下：

隐马尔科夫链及其应用

隐马尔科夫链及其应用学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，并且取得了很好的成果，更觉的不可思议，特地深入学习了一下，这里总结出来。马尔科夫过程 马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。考虑一个系统，在每个时刻都可能处于N 个状态中的一个，N 个状态集合是 {S1,S2,S3,...SN}。我们现在用q1,q2,q3,…qn 来表示系统在t=1,2,3,…n 时刻下的状态。在t=1时，系统所在的状态q 取决于一个初始概率分布PI ，PI(SN)表示t=1时系统状态为SN 的概率。马尔科夫模型有两个假设： 1. 系统在时刻t 的状态只与时刻t-1处的状态相关；（也称为无后效性） 2. 状态转移概率与时间无关；（也称为齐次性或时齐性）第一条具体可以用如下公式表示： P(q t =S j |q t-1=S i ,q t-2=S k ,…)= P(q t =S j |q t-1=S i )其中，t 为大于1的任意数值，Sk 为任意状态第二个假设则可以用如下公式表示：P(q t =S j |q t-1=S i )= P(q k =S j |q k-1=S i )其中，k 为任意时刻。下图是一个马尔科夫过程的样例图：卷问题，而且可保障各类管路习题到位。在管对全部高中资料试卷电气设备，在安装过程下高中资料试卷调控试验；对设备进行调整使卷总体配置时，需要在最大限度内来确保机组

可以把状态转移概率用矩阵A 表示，矩阵的行列长度均为状态数目，aij 表示P(Si|Si-1)。 隐马尔科夫过程 与马尔科夫相比，隐马尔科夫模型则是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下图所示：此图是从别处找来的，可能符号与我之前描述马尔科夫时不同，相信大家也能理解。通过管线敷设技术不仅可以解决吊顶层配置不规范高中资料试卷问题，而且可保障各类管路习题到位。在管路敷设过程中，要加强看护关于管路高中资须同时切断习题电源，线缆敷设完毕，要进行检查和检测处理。对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料试卷相互作用与相互关系，根据生产工艺高中资料试卷要求，对电气设备进行空载与带负荷下高中资料试卷调控试验；对设备进行调整使其在正常工况下与过度工作下都可以正常工制造厂家出具高中资料试卷试验报告与相关技术资料，并且了解现场设备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。电力保护装置调试技术，电力保护高中资料试卷配置技术是指机组在进行继电保护高中资料试卷总体配置时，需要在最大限度内来确保机组高中资料试卷安全，并且尽可能地缩小故进行外部电源高中资料试卷切除从而采用高中资料试卷主要保护装置。

隐马尔可夫模型及其应用

小论文写作: 隐马尔可夫模型及其应用 学院：数学与统计学院专业：信息与计算科学学生：卢富毓学号：20101910072 内容摘要：隐马尔可夫模型是序列数据处理和统计学习的重要概率模型，已经成功被应用到多工程任务中。本小论文首先从隐马尔可夫模型基本理论和模型的表达式出发，进一步阐述了隐马尔可夫模型的应用。 HMM 隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。80 年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。 隐马尔可夫模型状态变迁图（例子如下） x—隐含状态 y—可观察的输出 a—转换概率（transition probabilities） b—输出概率（output probabilities） 隐马尔可夫模型它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。 在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。 HMM的基本理论 隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。自20世纪80年代以来，HMM被应用于语音识别，取得重大成功。到了

基于隐马尔可夫模型(hmm)的模式识别理论

基于隐马尔可夫模型（hmm）的模式 识别理论 报告人： 时间：2020年4月21日 地点：实验室

概述 基于隐马尔可夫模型（hmm）的模式识别方法在模式识别中有着广泛的应用。如语音识别、手写字识别、图想纹理建模与分类。hmm还被引入移动通信核心技术“多用户的检测”。近年来，另外在生物信息可学、故障诊断等领域也开始得到应用。 近几年已经已被学者用于人脸识别的研究之中，是今年来涌现出来的优秀人脸识别方法之一。 经过不断改进，尤其是最近的嵌入式隐马尔可夫模型（ehmm）已经在人脸识别方面取得很大的进展，经过实验，识别率较高，有很好的鲁棒性等优点。 隐马尔可夫模型基本理论依据来源于随机过程中马尔可夫过程理论。

马尔可夫及其马尔可夫过程 马尔可夫（A. Markov ，1856—1922）俄国数学家. 他开创了一种无后效性随机过程的研究，即在已知当前状态的情况下，过程的未来状态与其过去状态无关，这就是现在大家熟悉的马尔可夫过程.马尔可夫的工作极 大的丰富了概率论的内容，促使它成为自然科学和技术直接有关的最重要的数学领域之一. 在工程技术方面目前已被广泛用于通信，模式识别方面。

x(t) 与马尔可夫过程相关的概念. 随机变量与随机过程把随机现象的每个结果对应一个数，这种对应关系 称为随机变量.例如某一时间内公共汽车站等车乘客的人数，电话交换台 在一定时间内收到的呼叫次数等等，都是随机变量的实例. 随机过程随机过程是一连串随机事件动态关系的定量描述.即和“时间” 相关的随机变量。一般记为x(t)。比如在一天24小时，在每个整点时刻徐 州火车站的旅客数量。 马尔可夫过程与马尔可夫链设x(t)是一随机过程，过程在时刻t0+1所处 的状态与时刻t0所处的状态相关，而与过程在时刻t0之前的状态无关，这 个特性成为无后效性.无后效的随机过程称为马尔可夫过程(Markov Process). 举例：比如在万恶的旧社会流离失所的百姓在每天的饥饿程度是一个随机 过程。假如他们在t0时刻（今天）的饥饿状态是五分饱，他们在t0+1所 （明天）的饥饿状态的概率取决于t0时刻（今天），而和t0时刻（今天） 之前（昨天、前天。。。）无关。这样的一个随机过程就是一个马尔可 夫过程。

基于隐马尔科夫模型的移动应用端行为模式识别

摘要：随着移动应用的普及，作为恶意行为识别的基础，移动应用端的行为模式分析也成为当前研究热点。本文创新地从系统环境数据入手，通过对系统多方面数据的监控，建立隐马尔可夫模型，使用该模型对后续行为产生的系统环境数据进行隐马尔科夫估值计算，从而实现对后续行为模式的识别，同时在后续识别过程中不断优化模型。本文通过实验证明该方式具有一定有效性，为移动应用端行为模式识别提供了更多可能。 关键词：移动应用端；隐马尔可夫模型；行为模式 中图分类号：tp311.5 文献标识码：a 文章编号：1006-4311（2016）19-0173-03 0 引言 在移动设备迅速普及的今天，开展移动安全性研究势在必行。目前针对移动应用端恶意行为检测的方式主要是对移动应用端的应用程序进行反编译，分析其源码是否存在于恶意行为代码特征库，以此作为评判标准。但随着恶意行为代码特征库的不断增加会导致系统开销增大，检测速度变慢。另外，随着黑客们使用的代码混淆技术的发展，也使之能够逃避这种静态分析手段[1]。 因为程序的运行会造成系统环境数据变化，所以系统环境数据可以反映系统运行情况。本文提出一种基于隐马尔可夫模型的行为模式识别方式，通过对移动应用端系统运行环境的cpu使用率、内存使用率、进程数、服务数、流量数监测获得时间序列数据，对特定行为进行隐马尔科夫建模，以待测行为的时间序列与特定的模型之间相似度为评判标准，并在每次评判之后优化模型[2]。该方法目的在于有效识别行为模式，对移动端恶意行为分析的后续研究提供前提，丰富了行为检测的手段，具有一定的实用价值。 1 马尔可夫模型介绍 2 隐马尔可夫模型介绍 2.1 隐马尔可夫模型 在马尔可夫模型中，每一个状态代表一个可观察的事件。而在隐马尔科夫模型中观察到的事件是状态的随机函数，因此隐马尔科夫模型是一双重随机过程，其中状态转移过程是不可观察的，而可观察的事件的随机过程是隐蔽的状态转换过程的随机函数（一般随机过程）[3]。对于一个随机事件，有一观察值序列：o=o1，o2，…ot，该事件隐含着一个状态序列：q=q1，q2，…qt。 2.2 隐马尔科夫模型使用前提 假设1：马尔可夫性假设（状态构成一阶马尔可夫链）p（qi|qi-1…q1）=p（qi|qi-1）假设2：不动性假设（状态与具体时间无关）p（qi+1|qi）=p（qj+1|qj），对任意i，j 成立。 假设3：输出独立性假设（输出仅与当前状态有关）p（o1，…ot|q1，…，qt）=∏p（ot|qt）隐马尔科夫模型在解决实际问题的过程中，需要事先知道从前一个状态st-1，进入当前状态st的概率p（st|st-1），也称为转移概率，和每个状态st产生相应输出符号ot的概率p（ot|st），也称为发射概率。描述它的数学表达式为：λ={n，m，a，b，∏}，下面对各个参数逐一描述： n表示隐状态s的个数，其取值为{s1，s2，…，sn}， m表示显状态o的个数，其取值为{o1，o2，…，on}， 2.3 隐马尔科夫可以解决的三个问题 ①评估问题：已知一个显状态序列o={o1，o2，…，on}，并且有确定的λ={n，m，a，b，∏}组成的hmm参数，求发生此显状态的概率p（o|hmm）有效的解决算法是前向算法。 3 基于隐马尔科夫的移动应用端行为模式识别 3.1 获取时间序列

基于隐马尔可夫模型的入侵检测方法

基于隐马尔可夫模型的入侵检测方法 赵婧，魏彬，罗鹏 摘要:针对当前网络安全事件频发以及异常检测方法大多集中在对系统调用数据的建模研究上等问题，提出一种基于隐马尔可夫模型的入侵检测方法。该算法基于系统调用和函数返回地址链的联合信息来建立主机进程的隐马尔可夫模型。此外，针对常用训练方法存在的不足，设计了一种快速算法用以训练模型的各个参数。实验结果表明:基于系统调用和函数返回地址链的联合信息的引入能够有效区分进程的正常行为和异常行为，大幅度降低训练时间，取得了良好的运算效果。 关键词:入侵检测;隐马尔可夫模型;系统调用序列 入侵检测作为一种网络安全防卫技术，可以有效地发现来自外部或内部的非法入侵，因此针对入侵检测算法的研究具有重要的理论和很强的实际应用价值。 基于动态调用序列对系统的入侵行为进行发掘是入侵检测领域主要的检测方法之一。自Forrest在1996年首次提出使用系统调用进行异常检测的思路和方法以来，有很多基于此的改进算法被提出。 文献提出一种基于频率特征向量的系统调用入侵检测方法，将正常系统调用序列抽取出的子序列的频率特征转换为频率特征向量。文献提出基于枚举序列、隐马尔科夫2种方法建立系统行为的层次化模型。然而，这类方法在误报率以及漏报率方面仍与实际需求有着一定的差距。 此外，由于隐马尔可夫模型(hiddenmarkovmodel，HMM)是一种描述离散时间内观察数据非常强大的统计工具，因此在基于主机的入侵检测研究中，HMM方法是目前重要的研究方向之一。 美国新墨西哥大学的Warrender等首次于1999年在IEEESymposiumonSecurityandPrivacy 会议上提出将HMM应用于基于系统调用的入侵检测中。2002年，Qiao等提出使用HMM对系统调用序列进行建模，利用TIDE方法划分状态序列的短序列，建立正常数据的状态短序列库来进行检测。2003年，Cho等提出用HMM对关键的系统调用序列进行建模。文献设计了一种双层HMM模型进行入侵检测，而其中所用到的训练方法存在局部最优以及时间效率较低等问题限制了其在实际中的应用。文献依据在网络数据包中发现的频繁情节，设计了基于HMM的误用检测模型。文献设计了一种基于节点生长马氏距离K均值和HMM的网络入侵检测方法。近些年，针对此方面的研究热度依然不减。然而，从目前的研究情况看，虽然基于隐马尔可夫模型的入侵检测技术能取得较好的检测效果，但是也存在着如下几个问题: 1)基于HMM的入侵检测技术主要集中在对主机的命令序列或者系统调用序列进行建模，单一的数据源提供的信息较少，因此检测效果仍然不够理想。 2)在线学习问题，隐马尔可夫模型的建立需要消耗大量的时间和空间对参数进行调整学习，这导致了HMM难以得到有效的利用。综上所述，为克服现有模型算法所存在的问题，提出一种新的基于系统调用和进程堆栈信息的HMM入侵检测方法，该方法的主要思想是将系统调用和函数返回地址信息作为检测数据源，并利用HMM来构建主机特权进程的正常行为模型。其次，针对经典模型训练法存在局部最优且算法的复杂度较高等问题，设计一个更为简单的训练算法来计算HMM的参数，进而提升算法效率。最后，设计了附加观察值和附加状态等参数，用以消除非完备的数据以及零概率对模型的影响。 1、隐马尔可夫模型 马尔可夫模型中的每个状态都与一个具体的观察事件相互对应，但实际问题可能会比Markov链模型所描述的情况更复杂，人们所能观察到的事件一般情况下并不是与状态完全

隐马尔科夫链及其应用

隐马尔科夫链及其应用 学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，并且取得了很好的成果，更觉的不可思议，特地深入学习了一下，这里总结出来。 马尔科夫过程 马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。 考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是{S1,S2,S3,...SN}。我们现在用q1,q2,q3,…qn来表示系统在t=1,2,3,…n时刻下的状态。在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(SN)表示t=1时系统状态为SN的概率。 马尔科夫模型有两个假设： 1.系统在时刻t的状态只与时刻t-1处的状态相关；（也称为无后效性） 2.状态转移概率与时间无关；（也称为齐次性或时齐性） 第一条具体可以用如下公式表示： P(q t=S j|q t-1=S i,q t-2=S k,…)= P(q t=S j|q t-1=S i) 其中，t为大于1的任意数值，Sk为任意状态 第二个假设则可以用如下公式表示： P(q t=S j|q t-1=S i)= P(q k=S j|q k-1=S i) 其中，k为任意时刻。 下图是一个马尔科夫过程的样例图：

可以把状态转移概率用矩阵A表示，矩阵的行列长度均为状态数目，aij表示P(Si|Si-1)。 隐马尔科夫过程 与马尔科夫相比，隐马尔科夫模型则是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下图所示： 此图是从别处找来的，可能符号与我之前描述马尔科夫时不同，相信大家也能理解。

隐马尔科夫

隐马尔科夫模型 1.隐马尔科夫模型的定义及相关术语 定义：隐马尔科夫模型是关于时序的模型，其描述一个隐藏的马尔科夫链随机生成不可观测的随机状态序列，再由各个状态生成一个观测，从而生成可观测的随机序列的过程。 状态序列：隐藏的马尔科夫链随机生成状态序列； 观测序列：每一个状态可以生成一个观测，则状态序列可以生成观测序列。 模型参数：隐马尔科夫模型有三个参数：初始概率分布π，状态转移概率分布A，观测概率分布B。 2隐马尔科夫模型建立基于的假设 （1）齐次马尔科夫性假设。 隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一刻的状态，与其他时刻的状态和观测无关，也与t时刻无关。 （2）观测独立性假设。 任意时刻的观测只与本时刻的状态有关，与其他状态及观测无关。 3隐马尔科夫的三个问题 （1）概率计算问题。给定隐马尔科夫模型λ=（π，A，B）和观测序列O，计算在该模型下，该观测序列出现的概率。 （2）学习问题。隐马尔科夫模型参数的学习。给定观测序列，估计模型λ=（π，A，B）的参数，使得在该模型下该观测序列出现的概率最大。 （3）预测问题。给定模型参数和观测序列，求最有可能的状态序列。 4.概率计算 前向计算和后向计算。<统计学习方法>P177有例子。 5.学习算法 （1）监督学习。 根据观测序列和状态序列组合。采用极大似然的思想估计状态转移概率：

^1a =ij ij N j A Aij =∑ 其中，ij A 表示训练集中状态i 转移到状态j 中频数。 同样可以得到，状态为j 观测为k 的概率： ^1jk ij M jk k B b A ==∑ （2）非监督学习方法。 当我们只知道观测序列O 而不知道状态序列I 时，可以将状态序列I 看做隐变量，从而采用EM 算法进行求解,则我们要求解的目标是： (|)(|,)(|)I P O P O I P I λλλ=∑ EM 算法的E 步： Q 函数： 其中(,|)(|,)|P I O P I O P λλλ---= （O ），因为分母为常数，所以省略。即上式仍符合： (,)=(log (,|)|,)I Q E P O I O λλλλ--的形式。 有： i11112221(,|)=()()...()i i i i iT iT iT T P O I b o a b o a b o λπ- 则： i1()(1)()11(,)log (,|)(log())(,|)(log(()))(,|) T T i t i t i t t I I t I t Q P O I a P O I b o P O I λλπλλλ---- +===++∑∑∑∑∑ 上式，右侧的三项分别独自包含了模型参数的一项，下面分别对每一项进行分析。 对第一项运用朗格朗日乘子法计算： 首先写出拉格朗日函数： i 1i 11log (,|)(()1)N N i i P O i i r πλπ-===+-∑∑ s.t. i 1)1)N i π=-∑=0; 对i π求偏导并令结果为0得到： 1i (,|)0P O i i r λπ- =+= （2）

基于隐马尔科夫模型的命名实体识别

基于马尔科夫模型的命名实体识别 NE识别的数学描述 利用HMM解决序列标注问题，即给定一个观察值的序列，要寻找一个最优的标记序列，使得条件概率最大。根据贝叶斯公式可得： 在NE识别问题中，X是给定的句子，观察值为词性或词，则上式中P(X)对所有的类别都是一样的，因此可以忽略不考虑。则上面的公式可以转化为下面的形式： 即HMM实质式求解一个联合概率。上式中的标记序列Y可以看做是一个马尔科夫链，则对上式利用乘法公式有： 基于HMM的NE识别的问题就是如何在给定的模型下，从一定观察值序列的所有可能的状态下，选取最有的标记序列。常用的方法是viterbi算法，它属于动态规划算法，动态规划的思想是把问题分解，先解决最基本的子问题，再逐步外推寻找更大的子问题的最优解，在有限步后达到整个问题的最优解，即得到最有的NE标记序列 隐马尔科夫模型 观察到的事件是状态的随机函数，该模型是一个双重的随机过程，其中模型的状态转换过程是不可观察的。可观察的事件的随机过程是隐藏的状态转换过程的随机函数。形式化的描述为一个五元组。 1. S表示模型中的状态，N是模型的状态数。所有独立的状态定义为,且用来表示t时刻的状态。 2. O表示每个状态的观察值，M表示每个状态上对应的可能的观察值的数目。观察值对应于模型系统的实际输出，观察值记为： 3. 状态转移概率矩阵，其中，1<=i，j<=N，表示从状态i转移到状态j的概率，满足：>=0，；且。 4. 输出观察值概率分布矩阵，其中表示在状态下，t时刻出现的概率，即，1<=j<=N,1<=k<=M. 5. 初始状态分布向量，其中,即在t=1时刻处于状态的概率，满足：。 HMM模型需解决的三个问题： （1）评估问题。给定一个观察序列，以及模型，如何有效的计算,也就是这个观测序列有多大可能是由该模型产生的； （2）解码问题。给定观测序列以及模型，如何选择一个状态序列，使得观测序列O式最具可能的，即求解; （3）学习问题。如何能够通过调整参数以最大化 ICTCLAS分词的词性列表 名词(1个一类，7个二类，5个三类) 名词分为以下子类： n 名词 nr 人名 nr1 汉语姓氏 nr2 汉语名字 nrj 日语人名 nrf 音译人名 ns 地名

隐马尔科夫模型学习总结.pdf

隐马尔科夫模型学习总结 by terry__feng 隐马尔科夫模型，这个久违的老朋友。大三上学期在实验室的时候，由于实验室项目需用到语音识别，所以就使用了微软的Microsoft Speech SDK，也关注了一下语音识别的原理，其中有以HMM作为模型进行识别的。后来实验室的机器人项目中上位机的软件使用到了人脸识别的功能。实验室有关于识别的工程源代码，但是工程庞大，结构复杂，并且里面有很多没有用到的功能，并且程序经常莫名其妙的跑飞，还存在严重的内存泄露问题。所以就自己另起炉灶，重新编写上位机软件。其中的人脸识别用到的核心算法的代码就来源于这个工程。它使用到的技术不是PCA和LDA，而是HMM和DCT。那时候为了看明白HMM实现的原理，在图书馆看了关于模式识别的书，但有基本都是工程相关的，所以说原理性的知识牵扯的不多，自己也就是学习了大概，只是摸熟了里面使用到的各种牛逼的算法，比如Forward-backward，Viterbi，Baum-Welch。但是各种算法原理的理解上就差得远了。没有什么理论的基础，也不知如何学起，最终未能继续。后来又通过吴军老师的《数学之美》了解到隐马尔科夫模型在语音识别中的重要作用。 时隔快两年了，从李航博士的《统计学习方法》中又看到了HMM模型的魅影，里面对其原理进行了深刻的剖析，能够学习之内心自是欣慰至极。于是便花了几天的时间读了关于HMM的几章，现在算是有点收获，总结一下（大部分内容来自对吴军老师的《数学之美》和李航博士的《统计学习方法》的总结）。 文章主要包括信息传递模型、HMM模型简介，和对所使用的三个主要算法：前向后向算法、Baum-Welch算法和维特比算法进行了总结。由于公式比较的多……所以生成pdf版的了。 1、信息传递的模型 任何信息都是通过一定的媒介从一端传递到另一端。对于信息源的传输者 来说，其所需传输的序列可假设为S={s 1,s 2 ,s 3 ,…,s n },而处于媒介另一端的观 测者观测到的序列是O={o 1,o 2 ,o 3 ,…,o m }。对于观测者来说，他接收到序列O的 目的是为了明白传输者的意图，这样才能达到信息交流的目的。也就是说，观测者能够做的事情就是使用观测到的数据（即序列O）去揣测传输者要传输的数据（即序列S）。但是仅仅根据序列O能够揣测出来的序列S的可能性太多了，哪一个猜到的序列S是我们想要的呢？ 按照概率论的观点，我们可以把上面的问题建立数学模型。 P(S|O)=P(s1,s2,s3,…,s n|o1,o2,o3,…,o m) 上式的意思是：对于一个给定的观测序列o1,o2,o3,…,o m，它的原序列是 s1,s2,s3,…,s n的概率。然而s1,s2,s3,…,s n的可能取值有很多，究竟哪一个才是自己想要的呢？所以便有了下面的式子： s1,s2,s3,…,s n=argmax all s1,s2,s3,…,s n P(S|O)（1.1）也就是说找到概率最大的原序列，或者说是最有可能的原序列。利用贝叶斯定理可以把上式转化得：

基于隐马尔科夫模型的人脸识别

基于隐马尔科夫的人脸识别 1人脸检测及常用算法 人脸检测，指的是从输入的图像（或者视频）中确定人脸的位置、大小和姿态的过程， 是进行人脸识别的基础，也是实现人脸识别功能的一个关键环节。 人脸检测是一种计算机视觉中的模式识别问题，就是将所有的人脸作为一个模式，而非人脸作为另一种模式，人脸检测的核心问题就是将人脸模式和非人脸模式区别开来。人脸检测的算法主要分为两大类，基于先验知识的和基于后验知识的学习和训练的算法。 常见人脸检测的算法有：基于特征子脸人脸检测算法：该算法将所有人脸的集合视作一个人脸子空间，通过检测样本与子空间之间的投影距离检测样本中是否存在人脸；基于模板匹配的人脸检测算法：该算法先设计一个代表标准人脸的模板，将进行检测的样本与标准模板进行比对，通过考察样本与标准模板的匹配程度，设置合理的阈值来检测样本中是否存在人脸；神经网络人脸检测算法：该算法是一种学习算法，用于学习的训练集分为属于人脸图像的训练集和非人脸图像的训练集两类，通过学习从而产生分类器进行人脸检测；基于纹理模型的算法，对于人脸图像的灰度共生矩阵进行计算可以获得倒数分差、惯量相关特征这三个特征矩阵，然后通过迭代计算求得人脸图像矩阵中的参数。使用这种方法取得的模型就被称为人脸纹理模型。若人脸姿态有旋转，通过对眼睛进行定位可以计算出人脸的旋转角度或者使用投影直方图FFT 变换等方法确定人脸旋转的方向，再进行人脸检测。 1.1Haar 特征 Harr 特征是一种矩形特征，在特征提取时由四类特征组成特征模板—边缘特征、圆心环绕特征、线性特征和特定方向的特征。特征模板包括白色矩形和黑色矩形两种。白色矩形内像素和（Sum 白）减去黑色矩形像素和（Sum 黑）就是模板的特征值。Haar 特征反映的是图像中相邻矩形区域的灰度变化。 Haar 特征的每一个特征值feature 可以表示为： ()i N i i r rectsum feature ?=∑=1 ω 其中i ω表示矩形的权重，()i r rectsum 表示矩形所包围图像的灰度值之和。Paul Viola 和Michacl Joncs 提出积分图算法提高图像举行特征的计算速度。 对于对象中的任意一点()y x ,A ，其灰度值为()y x i ,，积分图()()∑' ≤≤'''=y y x x y x i y x ii ,,,， 经过对图片的一次遍历，就可以得到图像中每一个点的积分图的值。 假设需要计算矩形 D 的特征，其顶点为点 1、2、3、4。这样，矩形 D 的

隐马尔科夫模型(HMM)详解

马尔科夫过程 马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。 考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是{S1,S2,S3,...S N}。我们现在用q1,q2,q3,…q n来表示系统在t=1,2,3,…n时刻下的状态。在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(S N)表示t=1时系统状态为S N的概率。 马尔科夫模型有两个假设： 1. 系统在时刻t的状态只与时刻t-1处的状态相关；（也称为无后效性） 2. 状态转移概率与时间无关；（也称为齐次性或时齐性） 第一条具体可以用如下公式表示： P(q t=S j|q t-1=S i,q t-2=S k,…)= P(q t=S j|q t-1=S i) 其中，t为大于1的任意数值，S k为任意状态 第二个假设则可以用如下公式表示： P(q t=S j|q t-1=S i)= P(q k=S j|q k-1=S i) 其中，k为任意时刻。 下图是一个马尔科夫过程的样例图： 可以把状态转移概率用矩阵A表示，矩阵的行列长度均为状态数目，a ij表示P(S i|S i-1)。

隐马尔科夫过程 与马尔科夫相比，隐马尔科夫模型则是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下图所示： 此图是从别处找来的，可能符号与我之前描述马尔科夫时不同，相信大家也能理解。 该图分为上下两行，上面那行就是一个马尔科夫转移过程，下面这一行则是输出，即我们可以观察到的值，现在，我们将上面那行的马尔科夫转移过程中的状态称为隐藏状态，下面的观察到的值称为观察状态，观察状态的集合表示为 O={O1,O2,O3,…O M}。 相应的，隐马尔科夫也比马尔科夫多了一个假设，即输出仅与当前状态有关，可以用如下公式表示： P(O1,O2,…,O t|S1,S2,…,S t)=P(O1|S1)*P(O2|S2)*...*P(O t|S t) 其中，O1,O2,…,O t为从时刻1到时刻t的观测状态序列，S1,S2,…,S t则为隐藏状态序列。 另外，该假设又称为输出独立性假设。 举个例子 举个常见的例子来引出下文，同时方便大家理解！比如我在不同天气状态下去做一些事情的概率不同，天气状态集合为{下雨，阴天，晴天}，事情集合为{宅着，自习，游玩}。假如我们已经有了转移概率和输出概率，即P(天气A|天气B)和P(事情a|天气A)的概率都已知道，那么则有几个问题要问（注意，假设一天我那几件事情中的一件）， 1. 假如一周内的天气变化是下雨->晴天->阴天->下雨->阴天->晴天->阴天，那么我这一周自习->宅着->游玩->自习->游玩->宅着->自习的概率是多大？ 2. 假如我这一周做事序列是自习->宅着->游玩->自习->游玩->宅着->自习，