信息论基础理论及应用

信息论形成的背景与基础

人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。

信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。

信息论定义及概述

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系

信息论作为一门科学理论，发端于通信工程。它的研究范围极为广阔，一般把信息论分成三种不同类型：

狭义信息论。狭义信息论主要总结了Shannon的研究成果，因此又称为Shannon信息论。在信息可以度量的基础上，研究如何有效、可靠地传递信息。有效、可靠地传递信息必然贯穿于通信系统从信源到信宿的各个部分，狭义信息论研究的是收、发端联合优化的问题，而重点在各种编码。它是通信中客观存在的问题的理论提升。

一般信息论。研究从广义的通信引出的基础理论问题：Shannon 信息论；Wiener的微弱信号检测理论。微弱信号检测又称最佳接收研究是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道传输的信号的理论。主要研究两个方面的问题：从噪声中去判决有用

信号是否出现和从噪声中去测量有用信号的参数。该理论应用近代数理统计的方法来研究最佳接收的问题，系统和定量地综合出存在噪声和干扰时的最佳接收机结构。除此之外，一般信息论的研究还包括：噪声理论、信号滤波与预测、统计检测与估计理论、调制理论、信号处理与信号设计理论等。可见它总结了Shannon和Wiener以及其他学者的研究成果，是广义通信中客观存在的问题的理论提升。

广义信息论。无论是狭义信息论还是一般信息论，讨论的都是客观问题。然而从前面给出的例子可知，当讨论信息的作用、价值等问题时，必然涉及到主观因素。广义信息论研究包括所有与信息有关的领域，如：心理学，遗传学，神经生理学，语言学，社会学等。因此，有人对信息论的研究内容进行了重新界定，提出从应用性、实效性、意义性或者从语法、语义、语用方面来研究信息，分别与事件出现的概率、含义及作用有关，其中意义性、语义、语用主要研究信息的意义和对信息的理解，即信息所涉及的主观因素。

广义信息论从人们对信息特征的理解出发，从客观和主观两个方面全面地研究信息的度量、获取、传输、存储、加工处理、利用以及功用等，理论上说是最全面的信息理论，但由于主观因素过于复杂，很多问题本身及其解释尚无定论，或者受到人类知识水平的限制目前还得不到合理的解释，因此广义信息论目前还处于正在发展的阶段。

信息量

信息量也就是熵，是一个建立在随机型性基础上的概念。信息论中熵的概念与物理学中热力学熵的概念有着紧密的联系。玻耳兹曼与

吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。信息量是随机性大小的度量。信源X是随机，可以认为信源X发出符号1，2 ，3的概率都是1/3，即可以按公式I（a)＝－log p(a)来计算。但是信源y是一个确定的信源，t=0时刻发1，t=1时刻发2，t=2时刻发3等等，这是有规律可循的，随机性为0，即信源y是确定的，它的信源熵为0，不能提供任何信息，信息量为0。所以信源x的消息每一个消息符号所含的消息量大于信源y的每个消息符号所含的信息量（信源y的每个消息符号所含的信息量为0）。信息的度量是信息论研究的基本问题之一。美国数学家C.E.香农在1948年提出信息熵作为信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外，它给人们的信息量就很多。因此,用I(A)=- log(A)〔P(A)表示事件A 发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有M种可能结果(事件)，或一个信源可能产生M种消息（事

件）, 它们出现的概率分别为，则用

来度量一次试验或一个消息所给出的平均信息量。当对数取 2为底时,单位为比特；当对数取e为底时,单位为奈特。H 的表达式与熵的表达式差一个负号，故称负熵或信息熵。

信息传输模型

信息传输系统主要由信源、信道和信宿组成，下图为信息传输系统的基本模型。信源是产生消息的系统。信宿是接受消息的系统，信

道则是传输消息的通道。图中编码器、译码器的作用是把消息变换成便于传输的形式。

信源编码

信源是产生消息（包括消息序列）的源，是为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。信源编码的基本目的是提高码字序列中码元的平均信息量，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压缩等。信源编码器将消息变换为一个数字序列(通常为二进制数字序列)。在离散情形,若信源产生M种可能消息,它们出现的概率分别为，每个消息由N种信源符号组成,便可取信源编码与数字序列一一对应。第i种消息对应的数字序列长(数字个数)为Li，Li相等的称等长编码，否则称变长编码。定义

为编码速率，它表征平均每个信源符号要用多少个数字来表示。若取信源译码器为信源编码器的逆变换器，则在无噪信道(信源编码器的输出即为信源译码器的输入) 情况下，消息可以正确无误地传送。这时信源编码问题是要找出最小的速率R及其相应的编码。已经证明,对于相当广泛的信源类,当N可以任意大时这个最小极

限速率，称为信源的熵率,是信源的一个重要参数。

为了有效传播信息，最理想状态即为无失真传输。在无失真信源编码中又分为定长编码、变长编码机最佳变长编码。

一、定长编码。在定长编码中，K是定值，编码的目的即为找到最小的K值。要实现无失真的信源编码，不但要求信源符号与码字是一一对应的，而且还要求有码字组成的码符号序列的逆变换也是唯一的。由定长编码定理可知，当编码器容许的输出信息率，也就是当每个信源符号必须输出的码长是K=KL/log M。

由定理表明，只要码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，但是条件是L足够大。这就为传输带来了很大的麻烦，并且实现起来很困难，并且编码效率也不高。而要达到编码效率接近1的理想编码器虽有存在性，但在实际上时不可能的，因为L非常大，无法实现。由此而产生了变长编码。

二、变长编码。在变长编码中，码长K是变化的，可根据信源各个符号的统计特性，对概率大的符号用短码，而对概率小的符号用长

码。这样大量信源符号编成码后，平均每个信源符号所需的输出符号数就可以降低，从而提高编码效率。用变长编码来达到相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多的多。很明显，定长码需要的信源序列长，这使得码表很大，且总存在译码差错。而变长码要求编码效率达到96%时，只需L=2.因此用变长码编码时，L 不需要很大就可达到相当高的编码效率，而且可实现无失真编码。并且随着信源序列长度的增加，编码效率越来越接近于1，编码后的信息传输率R也越来越接近于无噪无损二元对称信道的信道容量C=1bit/二元码符号，达到信源与信道匹配，使信道得到充分利用。

几种不同的变长编码方式如下:

1、香农编码方法。香农第一定理指出了平均码长与信源之间的关系，同时也指出了可疑通过编码使平均码长达到极限值，这是一个很重要的极限定理。香农第一定理指出，选择每个码字的长度Ki满足下式：I（xi）

就可以得到这种码。编码方式如下：首先将信源消息符号按其出现的概率大笑依次从大到小排列，为了编成唯一可译码，计算第i种消息的累加概率P=∑p（a），并将累加概率Pi变换成二进制数。最后去Pi二进制数的小数点后Ki位提取出，即为给细心符号的二进制码字。

由此可见香农编码法多余度稍大，实用性不强，但他是依据编码定理而来，因此具有重要的理论意义。

2、费诺编码方法。费诺编码属于概率编码，但不是最佳的编码

方法。在编N进制码时首先将信源消息符号按其出现的概率依次由小到大排列开来，并将排列好的信源符号按概率值分N大组，使N组的概率之和近似相同，并对各组赋予一个N进制码元“0”、“1”……“N-1”。之后再针对每一大组内的信源符号做如上的处理，即再分为概率和相同的N组，赋予N进制码元。如此重复，直至每组只剩下一个心愿符号为止。此时每个信源符号所对应的码字即为费诺码。

针对同一信源，费诺码要比香农码的平均码长小，消息传输速率大，编码效率高。

3、哈夫曼编码方法。编码方法：也是先将信源符号按其出现的概率大小依次排列，并取概率最小的字母分别配以0和1两种码元（先0后1或者先1后0，以后赋值顺序固定），再将这两个概率想家作为一个新字母的概率，与未分配的二进制符号的字母重新排队。并不断重复这一过程，直到最后两个符号配以0和1为止。最后从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即为相应的码字。

哈夫曼编码方式得到的码并非唯一的。在对信源缩减时，两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减信源中的排序将会导致不同码字，但不同的排序将影响码字的长度，一般讲合并的概率放在上面，这样可获得较小的码方差。

哈夫曼码的平均码长最小，消息传输效率最大，编码效率最高。

信道编码

信道是传输信息的媒质或通道，如架空明线、同轴电缆、射频波

束、光导纤维等。有时为研究方便将发送端和接收端的一部分如调制解调器也划归信道。信息论把信息传送过程中受各种干扰的影响都归入信道中考虑。根据干扰的统计特性,信道有多种模型。最简单的是离散无记忆恒参信道，它可以用信道入口符号集X、出口符号集Y和一组条件概率P(y|x)(x∈X，y∈Y)来描述。若信道输入信号x＝(x1,x2,…,xN),则相应的输出(受扰)信号y＝(y1,y2,…,yN)出现的

概率为信道编码器将数字序列每K个一组变换为字长N 的信号（码字），称为分组编码。若数字和信道符号都是二进制的(可用0,1表示)，则R＝K/N 定义为编码速率，它表明每个信道符号表示多少个数字。N-K 称为编码冗余度。信道编码(纠错编码)的基本思想就是增加冗余度以提高可靠性。更确切地说，信道译码器可以利用编码冗余度将受扰信号变换为正确的发送数字序列。重复编码乃一简例。信道编码器将输入数字重复三次, 如将01011变换为000111000111111。信道译码器可用门限译码，即先将输入译码器的信道符号每三个一组地相加，再将结果逐个与阈值 2比较,小于阈值2的译为0,否则译为1。这样若受扰信号010110100011011虽然错了 5个符号,但译码仍为01011与发送数字序列完全相同。信息论得出的重要结论是:对于一个有噪信道,只要在信道编码中引入足够而有限的冗余度，或等价地说编码速率足够小，就能通过信道渐近无误地传送消息。更确切地说，对充分长的数字序列，其接收错误概率可以任意小。信道编码问题是要找出使信道渐近无误地传输消息所能达到的最大编码速率R和相应的编码。已经证

明，对于离散无记忆恒参信道，这个最大极限编码速率为

它是对X上一切概率分布 p取极大值。p为信道转

移概率(条件概率)，。称为交互信息；

C 称为信道容量，是信道的重要参数。

信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。

提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在原数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开

销。这就好像我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海绵等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000个玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。

数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。

前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。

下面是纠错码的各种类型:

1、RS编码

RS编码即里德-所罗门码，它是能够纠正多个错误的纠错码，RS码为（204，188，t=8），其中t是可抗长度字节数，对应的188符号，监督段为16字节(开销字节段）。实际中实施（255，239，t=8）的RS编码，即在204字节（包括同步字节）前添加51个全0字节，产生RS码后丢弃前面51个空字节，形成截短的（204，188）RS码。RS的编码效率是：188/204。

2、卷积码

卷积码非常适用于纠正随机错误，但是，解码算法本身的特性却是：如果在解码过程中发生错误，解码器可能会导致突发性错误。为此在卷积码的上部采用RS码块， RS码适用于检测和校正那些由解码器产生的突发性错误。所以卷积码和RS码结合在一起可以起到相互补偿的作用。卷积码分为两种：

(1)基本卷积码:

基本卷积码编码效率为，η＝1/2, 编码效率较低,优点是纠错能力强。

(2)收缩卷积码:

如果传输信道质量较好，为提高编码效率，可以采样收缩截短卷积码。有编码效率为：η＝1/2、2/3、3/4、5/6、7/8这几种编码效率的收缩卷积码。

编码效率高，一定带宽内可传输的有效比特率增大,但纠错能力越减弱。

3、Turbo码

1993 年诞生的Turbo 码，单片Turbo 码的编码/解码器，运行速率达40Mb/s。该芯片集成了一个32×32 交织器，其性能和传统的RS 码和卷积内码的级联一样好。所以Turbo码是一种先进的信道编码技术，由于其不需要进行两次编码，所以其编码效率比传统的RS+卷积码要好。

4、交织

在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。为了纠正这些成串发生的比特差错及一些突发错误，可以运用交织技术来分散这些误差，使长串的比特差错变成短串差错，从而可以用前向码对其纠错，例如：在DVB-C系统中，RS(204,188)的纠错能力是8个字节，交织深度为12，那么纠可抗长度为8×12＝96个字节的突发错误。

实现交织和解交织一般使用卷积方式。

交织技术对已编码的信号按一定规则重新排列，解交织后突发性错误在时间上被分散，使其类似于独立发生的随机错误，从而前向纠错编码可以有效的进行纠错，前向纠错码加交织的作用可以理解为扩展了前向纠错的可抗长度字节。纠错能力强的编码一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织深度。

一般来说，对数据进行传输时，在发端先对数据进行FEC编

码，然后再进行交织处理。收端次序和发端相反，先做去交织处理完成误差分散，再FEC解码实现数据纠错。另外，从上图可看出，交织不会增加信道的数据码元。

根据信道的情况不同，信道编码方案也有所不同，在DVB-T 里由于是无线信道且存在多径干扰和其它的干扰，所以信道很“脏”，为此它的信道编码是：RS＋外交积＋卷积码＋内交积。采用了两次交织处理的级联编码，增强其纠错的能力。RS作为外编码，其编码效率是188/204（又称外码率），卷积码作为内编码，其编码效率有1/2、2/3、3/4、5/6、7/8，信道的总编码效率是两种编码效率的级联叠加。设信道带宽8MHZ，符号率为6.8966Ms/S，内码率选2/3，16QAM调制，其总传输率是27.586Mbps,有效传输率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保护间隔的插入所造成的开销，有效码率将更低。

在DVB-C里，由于是有线信道，信道比较“干净”，所以它的信道编码是：RS＋交积。一般DVB-C的信道物理带宽是8MHZ，在符号率为6.8966Ms/s，调制方式为64QAM的系统，其总传输率是41.379Mbps,由于其编码效率为188/204，所以其有效传输率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是无线信道，所以它的信道编码是：RS ＋交积＋卷积码。也是级联编码。

5、伪随机序列扰码

进行基带信号传输的缺点是其频谱会因数据出现连“1”和

连“0”而包含大的低频成分，不适应信道的传输特性,也不利于从中提取出时钟信息。解决办法之一是采用扰码技术,使信号受到随机化处理，变为伪随机序列，又称为“数据随机化”和“能量扩散”处理。扰码不但能改善位定时的恢复质量，还可以使信号频谱平滑，帧同步和自适应同步和自适应时域均衡等系统的性能得到改善。

扰码虽然“扰乱”了原有数据的本来规律，但因为是人为的“扰乱”，所以在接收端很容易去加扰，恢复成原数据流。

实现加扰和解码，需要产生伪随机二进制序列（PRBS）再与输入数据逐个比特作运算。PRBS也称为m序列，这种m序列与TS 的数据码流进行模2加运算后，数据流中的“1”和“0”的连续游程都很短，且出现的概率基本相同。

在DVB-C系统中的CA系统原理就源于此，只不过为了加强系统的保密性，其伪随机序列是不断变化的（10秒变一次），这个伪随机序列又叫控制字（CW)。

信息论对现代社会的影响

首先, 在理论研究方面, 信息论所处的地位已远远超出了当年

所界定的“通信的数学理论”的范畴, 得到了不断的扩充和发展, 出现了语义信息、语法信息与语用信息等研究与信息的意义有关的学科, 以及面向智能研究的全信息理论。

第二, 在技术应用方面, 信息论为现代通信理论和技术的发展

做出了不可磨灭的贡献, 信息科学与材料科学、能源科学一起已成为

现代高新技术领域的三大关键技术, 信息产业已是当今社会中发展

最快、效益最高、潜力最大、影响最广的最重要的支柱产业之一。

第三, 在社会经济领域, 21 世纪人类社会将全面进入信息时代, 智力、技术和信息已成为现代社会经济生活中不可缺少的重要资源。信息科学的迅速发展和信息高速公路的出现, 使先进的技术和信息

能够为不同国家和民族所使用, 有利于国际性的合作和交往的发展, 同时也为市场经济中资源的有效配置和利用提供了良好的社会环境, 避免了项目的重复建设和产品的盲目生产。企业充分利用互联网上的有用信息和在互联网上做广告也为其利润的增加和经济的发展开辟

了新的天地。

第四, 在思维方式方面, 信息高速公路的开通和信息的快速传

递将导致思维方式上的不断更新。互联网的开通大大加快了人们接受新思想、新信息的速度, 促进了不同生活方式和思维模式的溶合, 使得那些原来遥不可及的事情变得唾手可得, 原来不可思议的新事物

变得司空见惯, 原来不可接受的生活方式、思维模式和文化传统变得争相仿效。人们每天都能从网络上接受到大量的不同种类、具有不同文化特质和民族风格的信息, 通过对不同民族的优良文化传统和独

特的思维方式的学习和消化, 分析和综合, 加快了人们思维方式的

变革和更新, 促进了新的思维模式的形成, 将人们从静态思维转向

动态思维, 从局域性思维转向全局性思维, 从封闭性思维转向开放

性思维, 从单向性思维转向多向性思维。有利于全方位、多层次、多渠道地展开思维活动, 促进跳跃性、联想性、创造性的思维网络的形

成。所有这些对人类的文明和社会的进步都将起到积极的促进作用。

信息论基础各章参考答案

各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略）

信息论基础》试卷(期末A卷

《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

基础信息论

参考文献 1．.C.E.Shannon. A Mathematical Theory of Communication. Bell System Technical Journal Vol 27 partⅠJuly 1948, pp 379-423;part Ⅱoct 1948,pp623-656 2．https://www.sodocs.net/doc/b814858775.html,munication in the presence of noise.proc I.R.E.1949 37 P10 3．张宏基编著《信源编码》北京，人民邮电出版社，1979 4．林可祥、汪一飞编著《偽随机码的原理与应用》北京，人民邮电出版社，1978 5．钟义信编著《信息科学原理》北京，北京邮电大学出版社，1996 6．孟庆生编著《信息论》西安，西安交通大学出版社，1986 7．仇佩亮编著《信息论及其应用》杭州，浙江大学出版社，2000 8．朱雪龙编著〈应用信息论基础〉北京，清华大学出版社，2001 9．陈运编著《信息工程理论基础》成都，电子科技大学。1989 10．王新梅、肖国镇编著《纠错码—原理与方法》（修订版）西安，西安电子科技大学出版社，2001年修订版 11．E.Schruefer.Signal-verarbeitung.Muenchen Wien:Carl:Hanser Verlag,1992 12．张应中等编著《数字通信工程基础》北京，人民邮电出版社，1987 13．贾世楼编著《信息论理论基础》哈尔滨，哈尔滨工业大学出版社，2001 14．陈运等编著《信息论与编码》北京，电子工业出版社，2002 15．傅祖芸编著《信息论》北京，电子工业出版社，2001

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论的应用

学号：201122010835 姓名：李毅 信息论在图像处理中的应用 摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字：信息论；图像捕捉；图像分割 第1章 引言 随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（A卷）（半开卷） 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则 每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其 熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础答案2

《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。 若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最 大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高 斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不 等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号 的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长 就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度 四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。 试计算： （1）信源X中事件x的自信息量；（3分） （2）信源X的信息熵；（3分） （3）共熵H XY ; （ 3 分） （4）噪声熵H Y X ；（3分） （5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所 （3 分）

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求： （1）信源X 中事件1x 和2x 分别含有的自信息量； （2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3）信源X 和信宿Y 的信息熵； （4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5）接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明：信道传输矩阵为：

信息论基础1答案

信息论基础1答案

《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? ， 其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ∞ ；其能在每个自由度熵的最大熵是log （b-a ） bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为

16w，其概率密度函数是高斯分布时，差熵的 最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。 制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础理论与应用考试题及答案.doc

信息论基础理论与应用考试题 一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。 （考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q

（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。 （考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无 记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则 称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力 劣于分组码。（错）（考点：卷积码的纠错能力） 三、名词解释（每题3分，共12分） 1 .信源编码

朱雪龙《应用信息论基础》习题答案

第二章习题参考答案 2.2证明: l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ) H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y) 0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY) 1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1; H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 2 2.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit 2) H(X|Y) 2 = bit H(Y|X)= 2 -bit , H(X|Z)= 3 2 — bit 3 3) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit 2.4证明：（1）根据熵的可加性，可直接得到 ,a k 1), H(Y) log(k 1),故原式得证 2.5考虑如下系统: 又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit 1 不妨设 P(Z=0) = P(Z=1)= 2 设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p 1 ~[ Plogp + (1 — p)log (1 — p)] -[qlogq + (1 — q)log(1 — q)] =11 满足上式的p 、q 可取：p = ; q = 2.1 In 2 x nat IOg 2 bi t P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q ⑵ Y 的值取自（31,32, 假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0 则 H(X|Z)=

信息论基础理论与应用测验题及答案

信息论基础理论与应用测验题及答案

————————————————————————————————作者：————————————————————————————————日期：

信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 （11()log ()log ()()q i i i i H X E P a P a P a =?? ==-??? ?∑） 。

信息论基础及答案

《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同 的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论与编码习题1及答案1

一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信 源的信源熵H（X） 等于2.5，对信源进 行等长的无失真二 进制编码，则编码 长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于）， 则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。 （9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 二、（9）判断题 （1）信息就是一种消息。（） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（） （3）概率大的事件自信息量大。（） （4）互信息量可正、可负亦可为零。（） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （）

（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。 （ ） （9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ) 三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的， 而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A 表示“大学生”这一事件，B 表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=??? ???---==∑∑∑∑∑∑log log log ; （2分） 同理 ()()() X Y H Y H Y X I -=; （1分） 则

信息论基础》试卷(期末A卷

《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11 P 244?? ?? ?=?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1lo g 32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础及答案

《信息论基础》试卷答案 、填空题(共 25分，每空1分) 1、连续信源的绝对熵为 无穷大。(或 p x lg p x dx lim Ig ) 2、 离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 _J ____ 。 3、 无记忆信源是指 信源先后发生的符号彼此统计独立 ___________________________ 。 4、 离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统 计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可 以降低，从而提高 有效性(传输速率或编码效率) ___________________ 。 5、 为了提高系统的 —系统的可靠性可 以采用 信道编码 _______________ 。 6、 八进制信源的最小熵为 ，最大熵为 3bit/ 符号 ____________________ 。 7、 若连续信源输出信号的平均功率为 1瓦特，贝U 输出信号幅度的概率密度函数为 2|g2 e ）。 H s 9、 无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H(S)或 ),此 lg r 时编码效率为_J ____ ，编码后的信息传输率为 lg r bit/ 码元 。 10、 _________________________________________________________ 一个事件发生的概率为，则自信息量为 3bit/ 符号 ________________________________________ 。 11、 信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ______________ ，二 是信源符号概率分布的不均匀性 。 12、 m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m ___________ 个不同 的状态。 13、 同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”所获得的信息量 为Ig36= __________ 比特，当得知“面朝上点数之和为 8”所获得的信息量为 lg36/5= 比特。 14、 在下面空格中选择填入的数学符号“ =,>,<, >”或 “ <” H(XY) = H(Y)+H(X I Y) W H(Y)+H(X) 高斯分布 （或 x: N 0,1 或 ,r eT )时，信源具有最大熵，其值为 (或或 8、即时码是指 任一码字都不是其它码字的前缀

信息论基础理论及应用

信息论形成的背景与基础 人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。 信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。

信息论定义及概述 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系 信息论作为一门科学理论，发端于通信工程。它的研究范围极为广阔，一般把信息论分成三种不同类型： 狭义信息论。狭义信息论主要总结了Shannon的研究成果，因此又称为Shannon信息论。在信息可以度量的基础上，研究如何有效、可靠地传递信息。有效、可靠地传递信息必然贯穿于通信系统从信源到信宿的各个部分，狭义信息论研究的是收、发端联合优化的问题，而重点在各种编码。它是通信中客观存在的问题的理论提升。 一般信息论。研究从广义的通信引出的基础理论问题：Shannon 信息论；Wiener的微弱信号检测理论。微弱信号检测又称最佳接收研究是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道传输的信号的理论。主要研究两个方面的问题：从噪声中去判决有用

《信息论理论基础》补修复习资料

《信息论理论基础》补修复习资料 一、判断题(每小题2分, 共计20分) 1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H .（ ） 2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（ ） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性.（ ） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.（ ） 8. 汉明码是一种线性分组码.（ ） 9. 率失真函数的最小值是0.（ ） 10.必然事件和不可能事件的自信息量都是0.（ ） 答案: 1、√； 2、√； 3、×； 4、×； 5、√； 6、×； 7、×； 8、√； 9、√；10、×. 二、填空题（每小题5分, 共计30分） 1、码的检、纠错能力取决于 . 答案: 码字的最小距离（min d ）. 2、信源编码的目的是 ；信道编码的目的是 . 答案:（减少）冗余，提高编码效率; 提高信息传递的可靠性. 3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 . 答案: 系统码. 4、香农信息论中的三大极限定理是 、 、 . 答案: 无失真信源编码定理，信道编码定理，限失真信源编码定理. 5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的 条件 . 答案: 信道和信源都是无记忆. 6、某二元信源01()1/21/2X P X ???? =?? ?????? ，其失真矩阵00a D a ??=????，则该信源的max D = . 答案: 2 a . 三、解答题（四小题共计50分） 1、（12分）某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号 i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ?? =?? ?? . （1） 计算接收端的平均不确定度()H Y ；