汉语语音识别技术
让人与计算机自由地交谈，机器能听懂人讲话，是汉语语音识别技术最终将实现的目标。进入九十年代，语音识别方面的研究进一步升温，连续语音识别技术正趋于成熟，还出现了诸多实用化的研究方向。今后，将由连续语音识别发展到自然话语识别与理解，并着手解决语音识别中的一系列难题。难度虽然很大，但前景乐观。
计算机技术的飞速发展，使人与机器用自然语言进行对话的梦想一步步接近实现。进入九十年代之后，语音识别的研究进一步升温，除了连续语音听写机之外，还出现了诸多实用化的研究方向。ibm公司率先推出的viavoice标志着大词汇量、非特定人、连续语音识别技术正在趋于成熟。今后的发展方向，将由连续语音进一步进入自然话语识别与理解，并着手解决语音识别中的一系列难题，如鲁棒性问题。难度还会加大，但前景是乐观的。
语音识别技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。
声学特征
声学特征的提取与选择是语音识别的一个重要环节。声学特征的提取既是一个信息大幅度压缩的过程，也是一个信号解卷过程，目的是使模式划分器能更好地划分。
由于语音信号的时变特性，特征提取必须在一小段语音信号上进行，也即进行短时分析。这一段被认为是平稳的分析区间称之为帧，帧与帧之间的偏移通常取帧长的1/2或1/3。通常要对信号进行预加重以提升高频，对信号加窗以避免短时语音段边缘的影响。
下面介绍常用的一些声学特征。
线性预测系数lpc：线性预测分析从人的发声机理入手，通过对声道的短管级联模型的研究，认为系统的传递函数符合全极点数字滤波器的形式，从而n时刻的信号可以用前若干时刻的信号的线性组合来估计。通过使实际语音的采样值和线性预测采样值之间达到均方差最小lms，即可得到线性预测系数lpc。对lpc的计算方法有自相关法（德宾durbin法）、协方差法、格型法等等。计算上的快速有效保证了这一声学特征的广泛使用。与lpc这种预测参数模型类似的声学特征还有线谱对lsp、反射系数等等。
倒谱系数cep：利用同态处理方法，对语音信号求离散傅立叶变换dft后取对数，再求反变换idft就可得到倒谱系数。对lpc倒谱（lpccep），在获得滤波器的线性预测系数后，可以用一个递推公式计算得出。实验表明，使用倒谱可以提高特征参数的稳定性。
mel倒谱系数mfcc和感知线性预测plp：不同于lpc等通过对人的发声机理的研究而得到的声学特征，mel倒谱系数mfcc和感知线性预测plp是受人的听觉系统研究成果推动而导出的声学特征。对人的听觉机理的研究发现，当两个频率相近的音调同时发出时，人只能听到一个音调。临界带宽指的就是这样一种令人的主观感觉发生突变的带宽边界，当两个音调的频率差小于临界带宽时，人就会把两个音调听成一个，这称之为屏蔽效应。mel刻度是对这一临界带宽的度量方法之一。
mfcc的计算首先用fft将时域信号转化成频域，之后对其对数能量谱用依照mel刻度分布的三角滤波器组进行卷积，最后对各个滤波器的输出构成的向量进行离散余弦变换dct，取前n个系数。plp仍用德宾法去计算lpc参数，但在计算自相关参数时用的也是对听觉激励的对数能量谱进行dct的方法。
声学模型
语音识别系统的模型通常由声学模型和语言模型两部分组成，分别对应于语音到音节概率的计算和音节到字概率的计算。本节和下一节分别介绍声学模型和语言模型方面的技术。
hmm声学建模：马尔可夫模型的概念是一个离散时域有限状态自动机，隐马尔可夫模型hmm是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。对语音识别系统，输出值通常就是从各个帧计算而得的声学特征。用hmm刻画语音信号需作出两个假设，一是内部状态的转移只与上一状态有关，另一是输出值只与当前状态（或当前的状
态转移）有关，这两个假设大大降低了模型的复杂度。hmm的打分、解码和训练相应的算法是前向算法、viterbi算法和前向后向算法。
语音识别中使用hmm通常是用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模，一个音素就是一个三至五状态的hmm，一个词就是构成词的多个音素的hmm串行起来构成的hmm，而连续语音识别的整个模型就是词和静音组合起来的hmm。
上下文相关建模：协同发音，指的是一个音受前后相邻音的影响而发生变化，从发声机理上看就是人的发声器官在一个音转向另一个音时其特性只能渐变，从而使得后一个音的频谱与其他条件下的频谱产生差异。上下文相关建模方法在建模时考虑了这一影响，从而使模型能更准确地描述语音，只考虑前一音的影响的称为bi-phone，考虑前一音和后一音的影响的称为tri-phone。
英语的上下文相关建模通常以音素为基元，由于有些音素对其后音素的影响是相似的，因而可以通过音素解码状态的聚类进行模型参数的共享。聚类的结果称为senone。决策树用来实现高效的triphone对senone的对应，通过回答一系列前后音所属类别（元/辅音、清/浊音等等）的问题，最终确定其hmm状态应使用哪个senone。分类回归树cart模型用以进行词到音素的发音标注。
语言模型
语言模型主要分为规则模型和统计模型两种。统计语言模型是用概率统计的方法来揭示语言单位内在的统计规律，其中n-gram简单有效，被广泛使用。
n-gram：该模型基于这样一种假设，第n个词的出现只与前面n-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计n个词同时出现的次数得到。常用的是二元的bi-gram和三元的tri-gram。
语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数，其倒数可视为每个词的平均概率。
平滑是指对没观察到的n元组合赋予一个概率值，以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、katz平滑和kneser-ney平滑。
搜索
连续语音识别中的搜索，就是寻找一个词模型序列以描述输入语音信号，从而得到词解码序列。搜索所依据的是对公式中的声学模型打分和语言模型打分。在实际使用中，往往要依据经验给语言模型加上一个高权重，并设置一个长词惩罚分数。
viterbi：基于动态规划的viterbi算法在每个时间点上的各个状态，计算解码状态序列对观察序列的后验概率，保留概率最大的路径，并在每个节点记录下相应的状态信息以便最后反向获取词解码序列。viterbi算法在不丧失最优解的条件下，同时解决了连续语音识别中hmm模型状态序列与声学观察序列的非线性时间对准、词边界检测和词的识别，从而使这一算法成为语音识别搜索的基本策略。
由于语音识别对当前时间点之后的情况无法预测，基于目标函数的启发式剪枝难以应用。由于viterbi算法的时齐特性，同一时刻的各条路径对应于同样的观察序列，因而具有可比性，束beam搜索在每一时刻只保留概率最大的前若干条路径，大幅度的剪枝提高了搜索的效率。这一时齐viterbi-beam算法是当前语音识别搜索中最有效的算法。
n-best搜索和多遍搜索：为在搜索中利用各种知识源，通常要进行多遍搜索，第一遍使用代价低的知识源，产生一个候选列表或词候选网格，在此基础上进行使用代价高的知识源的第二遍搜索得到最佳路径。此前介绍的知识源有声学模型、语言模型和音标词典，这些可以用于第一遍搜索。为实现更高级的语音识别或口语理解，往往要利用一些代价更高的知识
源，如4阶或5阶的n-gram、4阶或更高的上下文相关模型、词间相关模型、分段模型或语法分析，进行重新打分。最新的实时大词表连续语音识别系统许多都使用这种多遍搜索策略。
n-best搜索产生一个候选列表，在每个节点要保留n条最好的路径，会使计算复杂度增加到n倍。简化的做法是只保留每个节点的若干词候选，但可能丢失次优候选。一个折衷办法是只考虑两个词长的路径，保留k条。词候选网格以一种更紧凑的方式给出多候选，对
n-best搜索算法作相应改动后可以得到生成候选网格的算法。
前向后向搜索算法是一个应用多遍搜索的例子。当应用简单知识源进行了前向的viterbi搜索后，搜索过程中得到的前向概率恰恰可以用在后向搜索的目标函数的计算中，因而可以使用启发式的a算法进行后向搜索，经济地搜索出n条候选。
系统实现
语音识别系统选择识别基元的要求是，有准确的定义，能得到足够数据进行训练，具有一般性。英语通常采用上下文相关的音素建模，汉语的协同发音不如英语严重，可以采用音节建模。
系统所需的训练数据大小与模型复杂度有关。模型设计得过于复杂以至于超出了所提供的训练数据的能力，会使得性能急剧下降。
听写机：大词汇量、非特定人、连续语音识别系统通常称为听写机。其架构就是建立在前述声学模型和语言模型基础上的hmm拓扑结构。训练时对每个基元用前向后向算法获得模型参数，识别时，将基元串接成词，词间加上静音模型并引入语言模型作为词间转移概率，形成循环结构，用viterbi算法进行解码。针对汉语易于分割的特点，先进行分割再对每一段进行解码，是用以提高效率的一个简化方法
对话系统：用于实现人机口语对话的系统称为对话系统。受目前技术所限，对话系统往往是面向一个狭窄领域、词汇量有限的系统，其题材有旅游查询、订票、数据库检索等等。其前端是一个语音识别器，识别产生的n-best候选或词候选网格，由语法分析器进行分析获取语义信息，再由对话管理器确定应答信息，由语音合成器输出。由于目前的系统往往词汇量有限，也可以用提取关键词的方法来获取语义信息。
自适应与鲁棒性
语音识别系统的性能受许多因素的影响，包括不同的说话人、说话方式、环境噪音、传输信道等等。提高系统鲁棒性，是要提高系统克服这些因素影响的能力，使系统在不同的应用环境、条件下性能稳定；自适应的目的，是根据不同的影响来源，自动地、有针对性地对系统进行调整，在使用中逐步提高性能。以下对影响系统性能的不同因素分别介绍解决办法。
解决办法按针对语音特征的方法（以下称特征方法）和模型调整的方法（以下称模型方法）分为两类。前者需要寻找更好的、高鲁棒性的特征参数，或是在现有的特征参数基础上，加入一些特定的处理方法。后者是利用少量的自适应语料来修正或变换原有的说话人无关（si）模型，从而使其成为说话人自适应（sa）模型。
说话人自适应的特征方法有说话人规一化和说话人子空间法，模型方法有贝叶斯方法、变换法和模型合并法。
语音系统中的噪声，包括环境噪声和录音过程加入的电子噪声。提高系统鲁棒性的特征方法包括语音增强和寻找对噪声干扰不敏感的特征，模型方法有并行模型组合pmc方法和在训练中人为加入噪声。
信道畸变包括录音时话筒的距离、使用不同灵敏度的话筒、不同增益的前置放大和不同的滤波器设计等等。特征方法有从倒谱矢量中减去其长时平均值和rasta滤波，模型方法有倒谱平移。
小结
以上介绍了实现语音识别系统的各个方面的技术。这些技术在实际使用中达到了较好的
效果，但如何克服影响语音的各种因素还需要更深入地分析。目前听写机系统还不能完全实用化以取代键盘的输入，但识别技术的成熟同时推动了更高层次的语音理解技术的研究。由于英语与汉语有着不同的特点，针对英语提出的技术在汉语中如何使用也是一个重要的研究课题，而四声等汉语本身特有的问题也有待解决。
语音识别技术综述
语音识别技术综述
语音识别技术综述 电子信息工程2010级1班郭珊珊 【摘要】随着计算机处理能力的迅速提高，语音识别技术得到了飞速发展，该技术的发展和应用改变了人们的生产和生活方式，正逐步成为计算机处理技术中的关键技术。语音技术的应用已经成为一个具有竞争性的新兴高技术产业。 【关键词】语音识别；语音识别原理；语音识别发展；产品 语音识别是以语音为研究对象，通过语音信号处理和模式识别让机器人自动识别和理解人类口述的语言。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的命令或文本的高新技术。 1 语音识别的原理 语音识别系统本质是一种模式识别系统，包括特征提取、模式匹配、参考模式库等三个基本单位元。未知语音经过话筒变换成电信号后加载识
别系统的输入端，首先经过预处理，再根据人的语音特点建立语音模型，对输入的语音信号进行分析，并抽取所需特征，在此基础上建立语音识别所需的模板。 计算机在识别过程中要根据语音识别的模型，将计算机中存放的语音模板与输入的语音信号的特征进行比较，根据一定的搜索和匹配策略，找出一系列最优的与输入语音匹配的模板。然后根据此模板的定义，通过查表可给出计算机的识别结果。这种最优的结果与特征的选择、语音模型的好坏、模板是否准确都有直接的关系。 2 语音识别系统的分类 语音识别系统可以根据对输入语音的限制加以分类。 2.1从说话者与识别系统的相关性考虑 可以将识别系统分为3类：(1)特定人语音识别系统：仅考虑对于专人的话音进行识别；(2)非特定人语音系统：识别的语音与人无关，通常要用大量不同人的语音数据库对识
别系统进行学习；(3)多人的识别系统：通常能识别一组人的语音，或者成为特定组语音识别系统，该系统仅要求对要识别的那组人的语音进行训练。 2.2从说话的方式考虑 也可以将识别系统分为3类：(1)孤立词语音识别系统：孤立词识别系统要求输入每个词后要停顿；(2)连接词语音识别系统：连接词输入系统要求对每个词都清楚发音，一些连音现象开始出现；(3)连续语音识别系统：连续语音输入是自然流利的连续语音输入，大量连音和变音会出现。 2.3从识别系统的词汇量大小考虑 也可以将识别系统分为3类：(1)小词汇量语音识别系统。通常包括几十个词的语音识别系统。(2)中等词汇量的语音识别系统。通常包括几百个词到上千个词的识别系统。(3)大词汇量语音识别系统。通常包括几千到几万个词的语音识别系统。随着计算机与数字信号处理器运算能力以及识别系统精度的提高，识别
语音识别系统实验报告材料
语音识别系统实验报告 专业班级：信息安全 学号： 姓名：
目录 一、设计任务及要求 (1) 二、语音识别的简单介绍 2.1语者识别的概念 (2) 2.2特征参数的提取 (3) 2.3用矢量量化聚类法生成码本 (3) 2.4VQ的说话人识别 (4) 三、算法程序分析 3.1函数关系 (4) 3.2代码说明 (5) 3.2.1函数mfcc (5) 3.2.2函数disteu (5) 3.2.3函数vqlbg (6)
3.2.4函数test (6) 3.2.5函数testDB (7) 3.2.6 函数train (8) 3.2.7函数melfb (8) 四、演示分析 (9) 五、心得体会 (11) 附：GUI程序代码 (12) 一、设计任务及要求 实现语音识别功能。 二、语音识别的简单介绍
基于VQ的说话人识别系统，矢量量化起着双重作用。在训练阶段，把每一个说话者所提取的特征参数进行分类，产生不同码字所组成的码本。在识别(匹配)阶段，我们用VQ方法计算平均失真测度(本系统在计算距离d时，采用欧氏距离测度)，从而判断说话人是谁。 语音识别系统结构框图如图1所示。 图1 语音识别系统结构框图 2.1语者识别的概念 语者识别就是根据说话人的语音信号来判别说话人的身份。语音是人的自然属性之一，由于说话人发音器官的生理差异以及后天形成的行为差异，每个人的语音都带有强烈的个人色彩，这就使得通过分析语音信号来识别说话人成为可能。用语音来鉴别说话人的身份有着许多独特的优点，如语音是人的固有的特征，不会丢失或遗忘；语音信号的采集方便，系统设备成本低；利用电话网络还可实现远程客户服务等。因此，近几年来，说话人识别越来越多的受到人们的重视。与其他生物识别技术如指纹识别、手形识别等相比较，说话人识别不仅使用方便，而且属于非接触性，容易被用户接受，并且在已有的各种生物特征识别技术中，
人工智能与语言识别
人工智能与语言识别 摘要：语言是人类之间交流信息的主要手段之一，自电脑发明以来，人们就一直致力于使电脑能够理解自然语言。语音识别技术是集声学、语音学、语言学、计算机、信息处理和人工智能等诸领域的一项综合技术，应用需求十分广阔，长期以来一直是人们研究的热点。神经网络是在现代科学研究成果的基础上提出来的模拟人脑结构机制的一门新兴科学。本文针时语音识别的特点，对BP神经网络在语音识别技术中的应用进行了探索性研究，进而结合人工智能领域较为有效的方法——遗传(GA)算法。该算法有效地缩短了识别时问，提高了网络训练速度和语音的识别率。 关键词：语言识别；神经网络；遗传算法；BP网络 Artificial Intelligence and Speech Recognition Abstract:Language is one of the most important means of exchanging information among the mankind.Since the computer was invented,many scientists have been devoted to enabling the computer to understand the natural language.Speech recognition is a comprehensive technology of such areas as acoustics,phonetics,linguistics,computer science,information processing and artificial intelligence,which can be used widely.The research of speech recognition technology has been focused by the world for a long time.The neural network is a new developing science,which simulates the mechanism of human brain and was putted forward by the developing of modern science. This paper mainly studies the application of the BP neural network in the research of speech recognition.The training speed can be accelerated by the method and the recognition performance is also promoted． Key words:speech recognition;neural network;genetic algorithm;BP network 正文 一、语言识别的概述 随着计算机技术的发展，人与机器之间的交流也越来越广泛和深入，计算机己经渗透到人们生活的各个方面。在现代社会中，人们逐渐习惯借助计算机来完成各项事务。在这种情况下，如何让计算机智能化地与人进行通信，使人机交互更加自然方便成为现代计算机科学的重要研究课题之一。 二、语言识别的基本原理 语音识别(Speech Recognition)主要是指让机器听懂人说的话，即在各种情况下，准确地识别出语音的内容，从而根据其信息，执行人的各种意图。现代语音识别技术以神经网络为主要发展趋势，进入20世纪90年代以来，神经网络已经成为语音识别的一条重要途径。人工神经网络(ANN)是采用大量的简单处理单元广泛连接起来构成的一种复杂信息处理网络。网络的训练学习是应用一系列输入矢量，通过已确定的算法逐步调整网络的权值，最终达到期望的目标。BP神经网络是神经网络中前向神经网络的核心部分，BP算法的学习过程由信号的正向传播和误差的反向传播组成。大部分基于神经网络的语音识别系统实现识别功能都要经过从特征参数提取到应用识别算法进行识别的过程。 三、语音识别中的BP网络构造
Sphinx用于汉语连续数字语音识别的研究
Sphinx用于汉语连续数字语音识别的研究 王韵，张雪英 太原理工大学信息工程学院，太原（030024） E-mail：312118847@https://www.sodocs.net/doc/ff1343500.html, 摘要：本文介绍了一个基于Sphinx的汉语连续数字语音识别系统，其声学模型采用SphinxTrain训练生成，语言模型由cmuclmtk统计语言模型生成，识别引擎采用PocketSphinx 工具。实验证明该系统对于非特定人不定长数字串的句子识别率为89.583%，词识别率为97.20%，说明该系统有良好的性能。 关键词：Sphinx；语音识别；声学模型；语言模型 中图分类号：TN912.34 1．引言 作为汉语语音识别的一个重要分支，非特定人连续数字识别有着广阔的应用前景。它在语音电话拨号、数字家电遥控、移动通信、电话证券交易等众多实用化领域[1]都给人们带来极大的便利。连续数字识别是一个小词汇量的语音识别系统，识别对象仅包括0～9十个数字，但由于汉语的单音节及易混淆性使得识别率同实际应用还存在一定差距。 本文利用卡内基梅陇大学（CMU）开发的嵌入式识语音识别引擎PocketSphinx，声学模型训练工具SphinxTrain，语言模型生成工具cmuclmtk[2]构建了一个汉语数字识别系统。PocketSphinx是CMU开发的一款用于快速语音识别的嵌入式语音识别引擎，它对于小词汇量的英语连续语音有很高的识别率。这里我们借助此识别引擎，通过训练汉语数字的声学模型和语言模型来构建一个高性能的汉语连续数字语音识别系统。这些工具的源代码都是公开的，通过改进算法，在汉语连续数字识别方面取得了一定的成效。 2．系统结构 连续语音识别系统主要由特征提取，声学模型，语言模型，识别引擎四部分组成如图1。以下会根据本文构建的数字连续语音系统对这四部分分别介绍。 图1 连续语音识别系统的基本结构 2.1 特征提取 SphinxBase是卡内基梅隆大学著名的Sphinx语音识别工程的公用库，主要用MFCC实现了语音识别系统的前端特征提取，其流程如图2示：
2020年公需课程-人工智能技术与应用(一骨骼识别、二人脸识别、三步态识别、四虹膜识别、五语音识别)
人工智能技术与应用（练习一：骨骼识别） 1、（单选，10分）单人骨骼识别不需要包含如下处理过程（） A 、关键点区分 B 、关键点检测 C 、关键点串联 D 、结果输出 答案：A 2、（单选，10分）以下哪项不属于目前常用的人体骨架关键点的定义方式（） A 、18 个关键点 B 、14 个关键点 C、25 个关键点 D、7 个关键点 答案：D 3、（单选，10分） 以下哪种环境/ 条件有助于提升人体骨骼识别的准确率（） A 、肢体遮挡 B 、光照良好 C 、观察视角变化 D 、衣服包裹严实 答案：B 4、（单选，10分）人体骨骼识别与哪项技术的关联程度最低（） A 、区块链技术 B 、视频采集技术 C 、图像处理技术 D 、人工智能相关技术 答案：A 5、（单选，10分）以下哪项不是骨骼识别系统包含的功能（） A 、图像采集 B 、图像预处理 C 、图像模糊化 D 、骨骼关键点识别 答案：C 6、（单选，10分）以下哪项不属于造成多人骨骼识别较单人骨骼识别更具挑战的因素（） A 、关键点区分性弱 B 、背景中的局部区域容易混淆 C 、人与人的重叠 D 、需串联的关键点个数增多 答案：D
7、（单选，10分）当前的骨骼识别技术不适用于以下哪个应用场景（） A 、身份认证 B 、视频监控 C 、体感游戏 D 、运动员辅助训练答案：A 8、（单选，10分） 8. 以下哪家公司不属于人体骨骼识别领域的代表企业（） A 、商汤科技 B 、旷视科技 C 、携程旅行网络科技 D 、凌感科技 答案：C 9、（单选，10分）人的头颈、肩部、手肘关节、手腕关节、髋关节、膝关节等可作为人体骨骼关键点。 A 、正确 B 、错误 答案：A 10、（单选，10 分）在自顶向下方法中，人体目标检测需要用方框标记出一块尽可能大的区域。 A 、正确 B 、错误 答案：B 人工智能技术与应用（练习二：人脸识别） 1、（单选，10分） 以下哪项不是人脸识别系统包含的功能（） A 、图像采集 B 、图像预处理 C 、图像模糊化 D 、匹配比对 答案：C 2、（单选，10分） 未来人脸识别的个人隐私防护不包含（） A 、随意授权自己的人脸信息 B 、立法保障“脸权” C 、规范化人脸数据的使用方法 D 、打击隐私泄露行为 答案：A 3、（单选，10分） 以下哪项不属于生物识别技术（） A 、人脸识别 B 、车牌识别 C 、掌纹识别 D 、语音识别 答案：B
语音识别发展现状与展望
中国中文信息学会第七次全国会员代表大会 暨学会成立30周年学术会议 语音识别发展现状与展望中科院自动化研究所徐波 2011年12月4日
报告提纲 ?语音识别技术现状及态势?语音识别技术的行业应用?语音识别技术研究方向?结论与展望
2010年始语音识别重新成为产业热点?移动互联网的兴起成为ASR最重要的应用环境。在Google引领下，互联网、通信公司纷纷把语音识别作为重要研究方向 –Android系统内嵌语音识别技术，Google语音 翻译等； –iPhone4S 上的Siri软件； –百度、腾讯、盛大、华为等都进军语音识别领 域； –我国语音技术领军企业讯飞2010年推出语音云识别、讯飞口讯 –已有的QQ2011版语音输入等等
成熟度分析-技术成熟度曲线 ?美国市场调查咨询公司Gartner于2011年7月发布《2011新兴技术成熟度曲线》报告：
成熟度分析-新兴技术优先矩阵?Gartner评出了2011年具有变革作用的技术，包括语音识别、语音翻译、自然语言问答等。其中语音翻译和自然语言问答有望在5-10年内获得大幅利用，而语音识别有望在2-5年内获得大幅利用；
三十年语音识别技术发展 ---特征提取与知识方面?MFCC，PLP，CMS，RASTA，VTLN；?HLDA, fMPE，neural net-based features ?前端优化 –融入更多特征信息(MLP、TrapNN、Bottle Neck Features等） ?特征很大特点有些是跟模型的训练算法相匹配?大规模FSN图表示，把各种知识源集中在一起–bigram vs. 4-gram, within word dependencies vs. cross-word
语音识别技术概述
语音识别技术概述 摘要：本文简要介绍了语音识别技术理论基础及分类方式，所采用的关键技术以及所面临的困难与挑战，最后讨论了语音识别技术的发展前景和应用。 关键词：语音识别；特征提取；模式匹配；模型训练 Abstract:This text briefly introduces the theoretical basis of the speech-identification technology,its mode of classification,the adopted key technique and the difficulties and challenges it have to face.Then,the developing prospect ion and application of the speech-identification technology are discussed in the last part. Keywords:Speech identification;Character Pick-up;Mode matching;Model training 一、语音识别技术的理论基础 语音识别技术：是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高级技术。语音识别以语音为研究对象，它是语音信号处理的一个重要研究方向，是模式识别的一个分支，涉及到生理学、心理学、语言学、计算机科学以及信号处理等诸多领域，甚至还涉及到人的体态语言（如人在说话时的表情、手势等行为动作可帮助对方理解），其最终目标是实现人与机器进行自然语言通信。 不同的语音识别系统，虽然具体实现细节有所不同，但所采用的基本技术相似，一个典型语音识别系统主要包括特征提取技术、模式
人工智能论文 语音识别
信息学院 《人工智能及其应用》课程论文题目：基于神经网络的语音信号识别 作者黄超班级自动08-1BF班 系别信息学院专业自动化 完成时间 2011.6.12
基于神经网络的语音信号识别 摘要 语言是人类之间交流信息的主要手段之一，自电脑发明以来，人们就一直致力于使电 脑能够理解自然语言。语音识别技术是集声学、语音学、语言学、计算机、信息处理和人工 智能等诸领域的一项综合技术，应用需求十分广阔，长期以来一直是人们研究的热点。 神经网络是在现代科学研究成果的基础上提出来的模拟人脑结构机制的一门新兴科 学，它模拟了人类神经元活动的原理，具有自学习、联想、对比、推理和概括能力，为很好 地解决语音识别这样一个复杂的模式分类问题提供了新的途径。 本文针时语音识别的特点．对BP神经网络在语音识别技术中的应用进行了探索性研究， 进而结合人工智能领域较为有效的方法——遗传(GA)算法。针对传统BP算法识别准确率高 但训练速度慢的缺点，对BP网络进行改进，构建了一种基于遗传神经网络的语音识别算法(GABP)，并建立相应的语音识别系统。仿真实验表明，该算法有效地缩短了识别时问，提 高了网络训练速度和语音的识别率。 关键词：语音识别，神经网络，遗传算法，遗传神经网络,BP网络 THE RSREARCH OF SPEECH RECOGNITION BASED ON THE NEURAL NETWORK ABSTRACT Language is one of the most important means of exchanging information among the mankind．Since the computer was invented，many scientists have been devoted to enabling the computer to understand the natural language．Speech recognition is a comprehensive technology of such areas as acoustics，phonetics，linguistics，computer science，information processing and artificial intelligence，which can be used widely．The research of speech recognition technology has been focused by the world for a long time．The neural network is a new developing science，which simulates the mechanism of human brain and was putted forward by the developing of modern science．It is not the overall description of human brain，but the abstract，simulation and simplifying of the physical neural networks of human beings. The purpose of the research in this area is exploring the human brain mechanisms in information processing，storing and searching．If people can understand these mechanisms，a new way for the research of artificial intelligence，information processing and etc.
语音识别技术
目前主流的语音识别技术是基于统计模式识别的基本理论。一个完整的语音识别系统可大致分为三部分： （1）语音特征提取： （2）声学模型与模式匹配（识别算法） （3）语义理解：计算机对识别结果进行语法、语义分析。 语音识别技术，也被称为自动语音识别Automatic Speech Recognition，(ASR)， 语音识别的发展简史 1952年AT& T Bell实验室实现了一个单一发音人孤立发音的十个英文数字的语音识别系统，到现在的人机语音交互。语音识别研究从二十世纪50年代开始到现在历半个多世纪的蓬勃发展，在这期间获得了巨大的进展。 现代语音识别技术研究重点包括即兴口语的识别和理解，自然口语对话，以及多语种的语音同声翻译。 语音识别应用的特点 1.语音识别系统必须覆盖的功能包括： （1）语音识别系统要对用户有益（希望它是能检测到的）。例如提高生产率，容易使用，更好的人机界面，或更自然的信息交流模式。 （2）语音识别系统要对用户“友好”。这种“友好”的含义是：用户在和系统进行语音对话时感到舒适；系统的语音提示既有帮助，又很亲近。 （3）语音识别系统必须有足够的精度 （4）语音识别系统要有实时处理能力；例如系统对用户询问的响应时间要很短。 2. 语音识别错误的处理 有以下四种方式可以处理这个问题。 （1）错误弱化法。这种处理仅仅花费用户很少一点时间，对用户几乎没什么其它不利影响。 （2）错误自检纠正法 系统利用已知任务的限制自动地检测并纠正错误。 （3）确认或多层次判定
（4）拒绝/转向人工座席。系统对其中通常较易导致系统识别错误的极少部分语音指令拒绝做出识别决定，而是将其转给人工座席。 在很多情况下，语音识别技术可以充分发挥出RFID的潜能： 1.积压产品、脱销产品 2.被废弃、被召回或已过期产品 3.回收的商品 4.促销产品 RFID系统在利用原有语音导向投资的情况下可以大大增加收益 语音识别技术在邮件分拣中的应用 现代化分拣设备在邮政上的应用大大提高了邮件处理的效率。但是，并不是所有的邮件都能上分拣机处理，那些需要人工处理的邮件成了邮政企业实现自动化的瓶颈。邮政使用人工标码技术以及先进的计算机软件 系统来处理不能上机的邮件，仍需要大量的劳动力。 由MailCode公司开发并准备申请专利的Spell-ItTM软件技术通过提高系统数据库能力的方式对语音识别自动化设备进行了革命性的变革。这种技术提供了无限的数据库能力，并且保证分拣速度不会因数据库的增大而减小。由各大语音引擎公司开发的系统还支持世界上的各种主要语言，这样，语音技术就成为世界性的产品。 以英语语音识别系统为例，系统建立了36个可识别字符26个字母加上0～9的10个数字，同时还建立了一套关键词。Spell-It软件使用这些字符来识别成千上万的口语词汇和无数的词语组合。 对于大公司的邮件收发中心来说，使用MailCode公司的Spell-It软件技术，分拣员实际上只需发出几个字符的音来找到和数据库中相对应的词。例如：碰到了寄给Joseph Schneider的邮件，操作员只需发出“J”、“S”、“C”和“H”几个音就可以得到准确的分拣信息。 姓名和邮箱编码：Jennifer Schroeder, 软件工程部；Joseph Schneider, 技术操作部；Josh Schriver, 技术操作部，因为这三个姓名全都符合（J,S,C,H）的发音标准。邮件中心的操作员知道邮件实际上是寄给Joseph Schneider的，就可以把邮件投入Joseph Schneide的信箱了。 邮局要把邮件按投递路线分发，分拣员必须熟悉长长的投递段列表以及各种各样的国际邮件投递信息。Spell-It技术把地址、投递路线等信息都存入了系统，这样就大大方便了分拣工作。 例如，有一件寄往Stonehollow 路2036号的邮件。使用语音识别技术，分拣员仅仅需要发出“2”、“0”、“S”、“T”和“O”几个音，如表2所示，数据库就会给出所有可能和这几
人工智能语音识别发展报告
人工智能语音识别发展报告Report of Artificial I ntelligence Development
目录 1.语音识别 (3) 1.1.语音识别概念 (3) 1.2.语音识别发展历史 (4) 1.3.人才概况 (6) 1.4.论文解读 (8) 1.5.语音识别进展 (173)
语音识别 1.语音识别 1.1.语音识别概念 语音识别是让机器识别和理解说话人语音信号内容的新兴学科，目的是将语 音信号转变为文本字符或者命令的智能技术，利用计算机理解讲话人的语义内容， 使其听懂人类的语音，从而判断说话人的意图，是一种非常自然和有效的人机交流方式。它是一门综合学科，与很多学科紧密相连，比如语言学、信号处理、计算机科学、心理和生理学等[8]。 语音识别首先要对采集的语音信号进行预处理，然后利用相关的语音信号处 理方法计算语音的声学参数，提取相应的特征参数，最后根据提取的特征参数进行 语音识别。总体上，语音识别包含两个阶段：第一个阶段是学习和训练，即提取语音 库中语音样本的特征参数作为训练数据，合理设置模型参数的初始值，对模型各个参 数进行重估，使识别系统具有最佳的识别效果；第二个阶段就是识别，将待识别语音信 号的特征根据一定的准则与训练好的模板库进行比较，最后通过一定的识别算法得出识 别结果。显然识别结果的好坏与模板库是否准确、模型参数的好坏以及特征参数的选择 都有直接的关系。 实际上，语音识别也是一种模式识别，其基本结构如下图所示。和一般模式 识别过程相同，语音识别包括如图所示3 个基本部分。实际上，由于语音信息的复 杂性以及语音内容的丰富性，语音识别系统要比模式识别系统复杂的多。 图 6-1 语音识别系统框架 其中，预处理主要是对输入语音信号进行预加重和分段加窗等处理，并滤除其 中的不重要信息及背景噪声等，然后进行端点检测，以确定有效的语音段。特征参数 提取是将反映信号特征的关键信息提取出来，以此降低维数减小计算量，
语音识别实验2
关于语音识别的研究 网络工程专业网络C071班贾鸿姗 076040 摘要：语音识别技术的广泛应用 1前言： 语音识别技术也被称为自动语音识别 (ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。语音识别是一门交叉学科。近二十年来，语音识别技术取得显著进步，开始从实验室走向市场。人们预计，未来10年内，语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。语音识别技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。 早在计算机发明之前，自动语音识别的设想就已经被提上了议事日程，早期的声码器可被视作语音识别及合成的雏形。而1920年代生产的"Radio Rex"玩具狗可能是最早的语音识别器，当这只狗的名字被呼唤的时候，它能够从底座上弹出来。最早的基于电子计算机的语音识别系统是由AT&T 贝尔实验室开发的Audrey语音识别系统，它能够识别10个英文数字。其识别方法是跟踪语音中的共振峰。该系统得到了98%的正确率。。到1950年代末，伦敦学院(Colledge of London)的Denes 已经将语法概率加入语音识别中。 1960年代，人工神经网络被引入了语音识别。这一时代的两大突破是线性预测编码Linear Predictive Coding (LPC)，及动态时间弯折Dynamic Time Warp技术。 语音识别技术的最重大突破是隐含马尔科夫模型Hidden Markov Model的应用。从Baum提出相关数学推理，经过Labiner等人的研究，卡内基梅隆大学的李开复最终实现了第一个基于隐马尔科夫模型的大词汇量语音识别系统Sphinx。。此后严格来说语音识别技术并没有脱离HMM框架。 尽管多年来研究人员一直尝试将“听写机”推广，语音识别技术在目前还无法支持无限领域，无限说话人的听写机应用。 2 正文 2.1应用领域 2.1.1.电话通信的语音拨号 特别是在中、高档移动电话上，现已普遍的具有语音拨号的功能。随着语音识别芯片的价格降低，普通电话上也将具备语音拨号的功能。 2.1.2.汽车的语音控制 由于在汽车的行驶过程中，驾驶员的手必须放在方向盘上，因此在汽车上拨打电话，需要使用具有语音拨号功能的免提电话通信方式。此外，对汽车的卫星导航定位系统（GPS）的操作，汽车空调、照明以及音响等设备的操作，同样也可以由语音来方便的控制。 工业控制及医疗领域。当操作人员的眼或手已经被占用的情况下，在增加控制操作时，最好的办法就是增加人与机器的语音交互界面。由语音对机器发出命令，机器用语音做出应答。 2.1.3数字助理 个人数字助理（Personal Digital Assistant，PDA）的语音交互界面。PDA的体积很小，人机界面一直是其应用和技术的瓶颈之一。由于在PDA上使用键盘非常不便，因此，现多采用手写体识别的方法输入和查询信息。但是，这种方法仍然让用户感到很不方便。现在业界一致认为，PDA的最佳人机交互界面是以语音作为传输介质的交互方法，并且已有少量应用。随着语音识别技术的提高，可以预见，在不久的将来，语音将成为PDA主要的人机交互界面。 智能玩具 通过语音识别技术，我们可以与智能娃娃对话，可以用语音对玩具发出命令，让其完成一些简单的任务，甚至可以制造具有语音锁功能的电子看门狗。智能玩具有很大的市场潜力，而其关键在
汉语连续语音识别中声学模型
第六届全国人机语音通讯学术会议，267-271页，2001年11月20-22日，深圳 汉语连续语音识别中声学模型基元比较汉语连续语音识别中声学模型基元比较：： 音节音节、、音素音素、、声韵母 李净，徐明星，张继勇，郑方，吴文虎，方棣棠 语音技术中心，智能技术与系统国家重点实验室， 清华大学计算机科学与技术系, 北京, 100084 [lijing, xumx, zjy, fzheng, wuwh]@https://www.sodocs.net/doc/ff1343500.html,, fangdt@https://www.sodocs.net/doc/ff1343500.html, https://www.sodocs.net/doc/ff1343500.html, 摘要 本文研究的是汉语连续语音识别中声学模型基元的选 择问题。根据汉语语音的特点，本文分别采用音节、 音素和声韵母等三种语音识别基元进行声学建模。为 了描述连续语音中的协同发音现象，本文针对音素和 声韵基元，设计了相应的问题集，利用基于决策树的 状态共享策略建立了上下文相关音素模型 （Triphone ）和上下文相关声韵模型（TriIF ），并对 几种声学基元进行了对比。实验结果表明，对于上下 文无关模型，音素和声韵模型都要劣于音节模型，而 对于上下文相关模型，Triphone 和TriIF 模型与音节 模型相比，识别性能有了很大提高，其音节误识率分 别降低了8.5%和23.6%。 1. 引言 声学建模是连续语音识别中声学层面处理的关键步骤。声学模型用来描述识别基元对应的特征矢量序列的产生过程。通过声学建模，可以估计待识别特征矢量序列所对应的语音识别基元，从而完成特征矢量序列到语音识别基元的识别转换。 基元的选择是声学建模中一个基本而重要的问题。在汉语连续语音识别中，可以选择的基元包括：词（Word ）、音节（Syllable ）、半音节（Semi-Syllable ）、声韵母（Initial/Final ）、音素（Phone ）等。识别基元的选择一般是基于语音学知识的，但是，基元也可以通过数据驱动的方式来产生，使用这种方式确定的基元可能在语音学上没有什么明确的意义，但也可以达到很好的性能。 对于词，在小词表语音识别系统中，或者命令与控制（Command & Control ）系统中，使用词作为识别基元是适当的。但是，在连续语音识别中将词作为识别基元是不合适的。首先，在连续语音识别系统中，词条的数目比较多，一般都要使用几千或者几万 条词条，所以声学模型的规模必然很大。这不但会增 加存储的开销，还会极大地增加搜索的复杂度。其 次，当词表以外的词条，即OOV （Out Of Vocabulary ）问题出现时，声学模型处理起来比较困 难。第三，要对这么多基元进行训练，必然需要一个 很大的数据库，并且要尽量覆盖词表中的词条，这一 点是很难达到的。所以，在汉语连续语音识别系统 中，采用类似于词这样较长的语音段作为识别基元是 不合适的。 对于音节，在汉语中，无调音节约有400个，如果考虑音调，有1300多个有调音节[1]。在进行上下文无关的声学建模时，使用有调或者无调音节是可以的，而且还可以取得相当好的性能，因为音节作为识别基元时，它很好地刻划了音节内部的变化。但是，在连续语音识别中，音节间的协同发音现象是比较严重的，因此，必须采用适当的方式来描述这种现象。一般地，上下文相关信息应在声学建模中加以考虑，这样，识别基元就会变成上下文相关的基元。如果采用音节作为识别基元，当考虑上下文信息时，基元数目会变得非常庞大，这将会使声学模型的规模变得无法接受。同时，由于基元数目过大，也会引起训练数据稀疏的问题，从而难以对模型参数给出较为准确的估计。所以，在进行上下文相关建模时，不适宜采用 音节模型。 音素在汉语中有三十多个（本文中定义的音素数目为35个）。音素基元在英语连续语音识别系统中得到了广泛的应用，并取得了很好的识别性能[2][3]。由此可见，音素也是一个很好的选择。但音 素并没有反映出汉语语音的特点，而且，相对于声韵母，音素显得更加不稳定，这一方面给手工标注带来了困难，同时，也给声学描述带来困难。 对于半音节和声韵母，它们在形式和数量上十分接近。半音节就是将音节分为两部分，而声韵母的划分更依赖于汉语语音学的知识。可以说，声韵母基元是适合汉语特点的一种识别基元，使用这种基元，还可以有很多语言学知识可以利用，从而进一步提高声 学模型的性能。声韵母作为识别基元具有以下优点： ? 汉语中的汉字是单音节的，而汉语中的音节是声韵结构的，这种独特而规则的结构，使对音节、以及词条的表示变得比较规则和统一； ? 使用声韵母作为识别基元，上下文相关信息也变得比较确定。比如，与声母相接的只能是韵母或者静音，而与韵母相接的也只能是声母或静音，而且，韵母左边相接的声母只能是与其搭配起来能够成汉语音节的那些声母。所以，上下文相关的声韵母基元的数目并不是基元数目的立方，而是远远小于这个数值的。
语音识别-科普性介绍
随机过程理论在语音识别中的应用 第一章语音识别总述 1.1语音识别技术简介 语音识别技术就是让机器通过识别和理解过程，把语音信号转变为相应的文本或命令的技术。在当下流行的即时通讯软件（如：微信、QQ等）里，语音识别技术得到了非常广泛的应用。当对方发来一段语音信息而自己不方便收听时便可以使用语音转化功能将语音信息转化成文字信息。此外，在许多输入法（如：讯飞输入法）中也可以使用语音输入功能。用户只需要对着麦克风说话，输入法便可以将语音转换为文字填入输入框，在方便用户的同时也提高了文字输入效率。 语音识别涉及的领域包括:数字信号处理、声学、语音学、计算机科学、心理学、人工智能等，是一门涵盖多个学科领域的交叉科学技术。 语音识别的技术原理是模式识别，其一般过程可以总结为：预处理、特征提取、基于语音模型库下的模式匹配、基于语言模型库下的语言处理、完成识别。 图1.0.1 语音识别过程 第二章预处理 声音的实质是波。在现如中得到广泛应用的音频文件格式（如：mp3等）都经过了压缩无法直接识别。语音识别所使用的音频文件格式必须是未经压缩处理的wav格式文件。下图是一个波形示例。
图2.0.2 语音波形示例 有了声波源文件输入便可以按照图2.1.1所示的各个步骤进行识别。 2.1静音切除 如图2.1.2所示，在得到的声波信号输入中需要实际处理的信号并不一定占满整个时域，会有静音和噪声的存在。因此，必须先对得到的输入信号进行一定的预处理，消去静音的部分并且滤除噪声的干扰才能对实际需要处理的有效语音进行识别。 噪声处理部分本文已在上文进行过讨论，这里不再赘述。去除静音需要用到V AD算法，本文对其做简单介绍。 2.1.1 V AD算法 V AD算法全称为V oice Activity Detection，又称语音边界检测。其可实现的功能有对语音信号进行打断、去除语音信号中的静音部分从而获取有效语音，还可以去除一部分噪声对后续语音识别过程造成的干扰。V AD主要是对输入语音信号的一些时域或频域特征判断其是否属于静音部分。本文只对这些参数做简要介绍，具体算法不属于本文重点因而不在此做细致讨论。 2.1.2时域参数 时域参数是通过对输入信号在时域上的特征参量进行区分。在信噪比较高的环境下使用时域参数进行区分效果显著。 1.相关性分析 通过对足够短的时间范围内的语音信号进行相关性检测可以初步判定该时间范围内的信号是否属于静音部分。在实际应用中，静音的部分实际上会混有各种各样的噪声，因此并非绝对意义上静音。噪声在各个时间范围内的相关性比较低，而人说话的语音相关性则比较强。因此，在高信噪比的条件下区分成功率很
语音识别技术的发展与未来
语音识别技术的发展与未来 与机器进行语音交流，让它听明白你在说什么。语音识别技术将人类这一曾经的梦想变成了现实。语音识别就好比“机器的听觉系统”，该技术让机器通过识别和理解，把语音信号转变为相应的文本或命令。 在1952年的贝尔研究所，Davis等人研制了世界上第一个能识别10个英文数字发音的实验系统。1960年英国的Denes等人研制了第一个计算机语音识别系统。 大规模的语音识别研究始于上世纪70年代以后，并在小词汇量、孤立词的识别方面取得了实质性的进展。上世纪80年代以后，语音识别研究的重点逐渐转向大词汇量、非特定人连续语音识别。 同时，语音识别在研究思路上也发生了重大变化，由传统的基于标准模板匹配的技术思路开始转向基于统计模型的技术思路。此外，业内有专家再次提出了将神经网络技术引入语音识别问题的技术思路。 上世纪90年代以后，在语音识别的系统框架方面并没有什么重大突破。但是，在语音识别技术的应用及产品化方面出现了很大的进展。比如，DARPA是在上世界70年代由美国国防部远景研究计划局资助的一项计划，旨在支持语言理解系统的研究开发工作。进入上世纪90年代，DARPA计划仍在持续进行中，其研究重点已转向识别装置中的自然语言处理部分，识别任务设定为“航空旅行信息检索”。 我国的语音识别研究起始于1958年，由中国科学院声学所利用电子管电路识别10个元音。由于当时条件的限制，中国的语音识别研究工作一直处于缓慢发展的阶段。直至1973年，中国科学院声学所开始了计算机语音识别。 进入上世纪80年代以来，随着计算机应用技术在我国逐渐普及和应用以及数字信号技术的进一步发展，国内许多单位具备了研究语音技术的基本条件。与此同时，国际上语音识别技术在经过了多年的沉寂之后重又成为研究的热点。在这种形式下，国内许多单位纷纷投入到
语音识别技术概述(一)
语音识别技术概述(一) 作者：刘钰马艳丽董蓓蓓 摘要：本文简要介绍了语音识别技术理论基础及分类方式，所采用的关键技术以及所面临的困难与挑战，最后讨论了语音识别技术的发展前景和应用。 关键词：语音识别；特征提取；模式匹配；模型训练 Abstract:Thistextbrieflyintroducesthetheoreticalbasisofthespeech-identificationtechnology,itsmo deofclassification,theadoptedkeytechniqueandthedifficultiesandchallengesithavetoface.Then,the developingprospectionandapplicationofthespeech-identificationtechnologyarediscussedinthelast part. Keywords:Speechidentification;CharacterPick-up;Modematching;Modeltraining 一、语音识别技术的理论基础 语音识别技术：是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高级技术。语音识别以语音为研究对象，它是语音信号处理的一个重要研究方向，是模式识别的一个分支，涉及到生理学、心理学、语言学、计算机科学以及信号处理等诸多领域，甚至还涉及到人的体态语言（如人在说话时的表情、手势等行为动作可帮助对方理解），其最终目标是实现人与机器进行自然语言通信。 不同的语音识别系统，虽然具体实现细节有所不同，但所采用的基本技术相似，一个典型语音识别系统主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。此外，还涉及到语音识别单元的选取。 （一）语音识别单元的选取 选择识别单元是语音识别研究的第一步。语音识别单元有单词（句）、音节和音素三种，具体选择哪一种，由具体的研究任务决定。 单词（句）单元广泛应用于中小词汇语音识别系统，但不适合大词汇系统，原因在于模型库太庞大，训练模型任务繁重，模型匹配算法复杂，难以满足实时性要求。 音节单元多见于汉语语音识别，主要因为汉语是单音节结构的语言，而英语是多音节，并且汉语虽然有大约1300个音节，但若不考虑声调，约有408个无调音节，数量相对较少。因此，对于中、大词汇量汉语语音识别系统来说，以音节为识别单元基本是可行的。 音素单元以前多见于英语语音识别的研究中，但目前中、大词汇量汉语语音识别系统也在越来越多地采用。原因在于汉语音节仅由声母（包括零声母有22个）和韵母（共有28个）构成，且声韵母声学特性相差很大。实际应用中常把声母依后续韵母的不同而构成细化声母，这样虽然增加了模型数目，但提高了易混淆音节的区分能力。由于协同发音的影响，音素单元不稳定，所以如何获得稳定的音素单元，还有待研究。 （二）特征参数提取技术 语音信号中含有丰富的信息，但如何从中提取出对语音识别有用的信息呢？特征提取就是完成这项工作，它对语音信号进行分析处理，去除对语音识别无关紧要的冗余信息，获得影响语音识别的重要信息。对于非特定人语音识别来讲，希望特征参数尽可能多的反映语义信息，尽量减少说话人的个人信息（对特定人语音识别来讲，则相反）。从信息论角度讲，这是信息压缩的过程。 线性预测（LP）分析技术是目前应用广泛的特征参数提取技术，许多成功的应用系统都采用基于LP技术提取的倒谱参数。但线性预测模型是纯数学模型，没有考虑人类听觉系统对语音的处理特点。 Mel参数和基于感知线性预测（PLP）分析提取的感知线性预测倒谱，在一定程度上模拟了人耳对语音的处理特点，应用了人耳听觉感知方面的一些研究成果。实验证明，采用这种技术，语音识别系统的性能有一定提高。